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ATHENA:  de  combinatie  van  een 
helderheidsversterker  en  thermische  kijker 
met  kleurweergave 


In  het  ATHENA  NTP  project  werd  een  gecombineerde  helderheidversterker 
en  thermische  kijker  ontwikkeld  voor  observatie.  doelopsporing  en  navigatie 
onder  omstandigheden  met  verminderd  zicht.  Dit  rapport  beschnjft  het 
ATHENA  systeem,  het  beeldmateriaal  dat  er  mee  werd  verzameld  in  de  loop 
van  het  project,  en  enkele  situaties  waarin  de  meerwaarde  van  het  systeem 
duidelijk  is  gebleken. 


Probleemstelling 

Het  NTP-project  ATHENA,  dat  medio  2005 
van  start  ging,  had  als  doel  te  demonstreren 
dat  een  camera  systeem,  bestaande  uit  een 
gecomhineerde  HV-  en  WB -camera,  onder 
uiteenlopende  omstandigheden  met 
vermjnderd  zicht  een  bee  Id  kan  produceren 
met  een  natuurlijke  kleurenweergave. 
lien  studie  naar  de  inzetmogelijkheden  van 
een  camera  gehaseerd  op  het  ATHENA- 
concept  ofwel  ATHENA-systeem  maakte 
deel  uit  van  het  project  Met  name  werd 


daarbij  gekeken  naarde  inzetmogelijkheden 
waarin  meerwaarde  wordt  verwacht  van  het 
concept  ten  opzichte  van  een  enkele  HV  of 
WB-systeem. 

Beschrijving  van  de 
werkzaamheden 

1  r  werd  een  overzicht  opgesteld  van 
operationele  en  waamemings-taken  die 
uitgevoerd  zouden  kunnen  worden  met  een 
ATHENA-systeem.  Vervolgens  werden  aan 
de  hand  van  kenmerken  van  HV-  en  WB- 


eamera’s  de  voordelen  en  beperkingen  van 
een  ATHENA-systeem  onderzocht,  in  het 
hijz.onder  tijdens  omstandigheden  met 
verminderd  zicht.  Voor  WB-camera’s  werd 
een  nadere  verkenning  uitgevoerd  voor 
systemcn  die  opereren  in  het  ‘midwave 
infrared’  (MWIR  )  en  het  ‘longwave 
infrared’  (LWIR  )  gebied. 

Resultaten  en  conclusies 
In  condities  met  schaduwen,  rook  en 
camoutlagemaatregelen  is  duidelijk  gebleken 
dat  het  ATHENA  concept  in  praktijk  een 
meerwaarde  heeft  Maarook  hij  de  inspectie 
van  terreinen  waann  natuurlijke  en 
anificiek*  details  naast  elkaar  voorkomen 
hlijkt  een  beeld  dat  is  opgebouwd  volgens 
het  ATHENA  concept  een  meer  volledige 
representatie  te  geven  dan  de  comhinatie 
van  de  afz.onderlijke  heelden,  hetgeen  van 
helang  kan  zijn  voor  het  opbouwen  van  een 
situationeel  bewustzijn. 

Toepasbaarheid 

Door  het  heschikhaar  komen  van  steeds 
meer  verschillende  multihand  sensor- 
systemen  (systemen  die  gevoclig  z.ijn  in 
meerdere  spectrale  banden),  in  combinatie 
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met  de  steeds  verder  gaande  digitalisering 
en  mimaturisering,  de  toenemende 
rekenkracht  van  processor  chips,  en  de 
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Samenvatting 


De  Krijgsmacht  heeft  behoefte  aan  adequate  zichtmiddelen  waarmee  waarnemings-  en 
identificatietaken  24  uur  per  dag  en  onder  omstandigheden  met  verminderd  zicht 
kunnen  worden  uitgevoerd.  In  het  ATHENA  Nationaal  Technologie  Progamma  (NTP) 
van  het  Ministerie  van  Defensie  werd  een  gecombineerde  helderheidversterker  en 
thermische  kijker  ontwikkeld  voor  observatie,  doelopsponng  en  navigatie  onder 
omstandigheden  met  verminderd  zicht.  Tevens  werd  er  een  studie  gedaan  naar  de 
inzetmogelijkheden  van  een  dergehjk  systeem 

Het  ATHENA  systeem  genereert  een  kleurenbeeld  waarvan  de  kleuremveergave  kan 
worden  aangepast  aan  de  omgeving  en  de  taak.  Zo  kan  voor  navigatie  en  observatie 
doeleinden  gekozen  worden  voor  een  natuurlijke  kleurenweergave,  terwijl  voor  de 
detectie  van  gecamoufleerde  doelen  een  niet-realistische  kleurenweergave  beter 
geschikt  is. 

Bij  het  maken  van  veldopnamen  is  duidelijk  gebleken  dat  het  ATHENA  concept  in 
condities  met  schaduwen,  rook  en  camouflagemaatregelen  een  meerwaarde  heeft. 

Maar  ook  bij  de  inspectie  van  terreinen  waarin  natuurlijke  en  artificiele  details  naast 
elkaar  voorkomen  blijkt  een  beeld  dat  is  opgebouwd  volgens  het  ATHENA  concept 
meer  informatie  te  geven  dan  de  combinatie  van  de  afzonderlijke  beelden 

Door  het  beschikbaar  komen  van  steeds  meer  verschillende  multibandsensorsystemen 
(systemen  die  gevoelig  zijn  in  meerdere  spectrale  banden),  in  combinatie  met  de  steeds 
verder  gaande  digitalisering  en  miniaturisering,  de  toenemende  rekenkracht  van 
processor  chips,  en  de  verder  gaande  prijsdaling  van  dergelijke  systemen,  is  de 
martktverwachting  voor  het  ATHENA  concept  gunstig. 
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Summary 


For  defense  purposes  there  is  a  need  for  all-day,  all-night,  all-weather  vision  systems  to 
enable  the  perfomance  of  observation  and  identification  tasks.  In  the  ATHENA 
National  Technology  Project  of  the  Dutch  Ministery  of  Defense  we  developed  a 
combined  intensified  and  thermal  imaging  device  for  observation,  target  detection  and 
navigation  in  conditions  with  low  visibility.  We  also  investigated  the  operational 
deployability  of  this  system. 

The  ATHENA  system  produces  an  image  of  which  the  colour  representation  can  be 
adapted  to  the  conditions  and  the  task.  A  natural  colour  setting  can  be  used  for 
navigation  and  surveillance  purposes,  whereas  a  false  colour  setting  is  more  appropriate 
for  the  detection  of  camouflaged  targets. 

Image  registrations  made  during  field  trials  clearly  show  the  operational  benefits  of  the 
ATHENA  system  in  conditions  with  shadows,  smoke  and  camouflage.  For  terrain 
containing  both  natural  and  man-made  details,  the  system  produces  an  image 
representation  that  is  more  informative  than  the  combination  of  the  individual  input 
images. 

The  combination  of  increasing  availability  of  multispectral  imaging  systems, 
progressive  digitalization  and  miniaturization,  increasing  processing  power,  and 
steadily  decreasing  system  costs  indicates  favorable  marketing  prospects. 
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Afkortingen 


ATHENA 

CCD 

CCIR 

Advanced  THErmal  and  Night  vision  target  Acquisition  sight 
charge  coupled  device 

video  signaal  standaard  vastgelegd  door  de  Comite  Consultatif 
International  des  Radiocommunication 

EMCCD 

FOV 

GPS 

HV 

ICCD 

IR 

LUT 

LWIR 

MWIR 

NIR 

NTP 

TNO 

electron  multiplying  CCD 
field  of  view 

global  positioning  system 
helderheidsversterker 

intensified  CCD 

infrared 
lookup  table 
longwave  infrared 
midwave  infrared 

near  infrared 

Nationaal  Technologie  Progamma  van  het  Ministerie  van  Defensie 
Nederlandse  Organisatie  voor  toegepast-natuurwetenschappelijk 
onderzoek 

WB 

warmtebeeld 
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1  Inleiding 


1.1  Het  NTP-project  ATHENA 

Dit  rapport  is  het  eindverslag  van  het  ATHENA  project  dat  medio  2005  van  start  ging 
en  dat  plaats  vond  in  het  kader  van  het  Nationaal  Technologie  Progamma  (NTP)  van  het 
Ministerie  van  Defensie.  Dit  project  had  als  doel  te  demonstreren  dat  een  camera 
systeem,  bestaande  uit  een  helderheidsversterker  (HV)  en  een  warmtebeeld  (WB) 
camera,  in  combinatie  met  een  gecombineerde  en  gekleurde  weergave  van  de  beelden 
van  deze  camera’s,  onder  uiteenlopende  omstandigheden  met  verminderd  zicht  een 
beeld  kan  produceren  met  een  natuurlijke  kleurenweergave.  In  het  vervolg  zullen  we  dit 
principe  aanduiden  als  het  ATHENA  concept,  en  het  systeem  waarmee  dit  pnncipe 
wordt  gedemonstreerd  als  het  ATHENA  systeem 

Het  project  richtte  zich  op  het  construeren  van  een  demonstratiecamera  (het  ATHENA- 
systeem)  en  het  demonstreren  van  het  ATHENA  concept  voor  in  eerste  instantie 
grondgebonden  observatie-,  doelopsporings-  en  navigatietaken. 

Onderdeel  van  het  NTP-project  w  as  een  studie  naar  de  inzetmogelijkheden  van  een 
ATHENA  systeem.  Met  name  ging  het  daarbij  om  de  inzetmogelijkheden  waarin 
meerwaarde  wordt  verwacht  van  het  concept  ten  opzichte  van  een  enkele  HV  of  WB- 
camera. 

1.2  Achtergrond 

7.2. 7  Probleemstelling 

De  veranderende  taakstelling  van  de  Nederlandse  krijgsmacht  in  het  kader  van 
crisisbeheersings-operaties  leidt  ertoe  dat  de  Nederlandse  eenheden  steeds  vaker 
worden  ingezet  in  relatief  uitgestrekte  en  onbekende  gebieden  waar  men  wordt  omringd 
door  eenheden  die  geweld  kunnen  uitoefenen.  Bij  een  dergelijk  optreden  is  intensieve 
waameming  en  verkenning  van  uitzonderlijk  belang.  Er  is  daarom  een  sterk  toegenomen 
behoefte  aan  adequate  zichtmiddelen  waarmee  waamemings-  en  identificatietaken  24  uur 
per  dag  en  onder  omstandigheden  met  verminderd  zicht  kunnen  worden  uitgevoerd. 

In  de  Defensienota  2000  wordt  het  optreden  rondom  de  klok  dan  ook  aangemerkt  als 
een  van  de  priori teiten  bij  nieuwe  aanschaffingen. 

7.2.2  Probleemcon  text 

Het  gebruik  van  nachtzichtapparatuur  (helderheidversterkers  en  warmtebeeldcamera's) 
waarmee  waarnemers  ook  ’s  nachts  en  onder  omstandigheden  met  verminderd  zicht  in 
staat  zijn  om  hun  omgeving  visueel  te  verkennen,  neemt  gestaag  toe.  De  momenteel 
gangbare  typen  nachtzichtcamera’s  produceren  doorgaans  een  monochroom  (grijs-  of 
groenkleurig)  beeld.  Een  dergelijke  weergave  maakt  het  vaak  moeilijk  om  een  goede 
indruk  van  de  omgeving  te  krijgen,  en  kan  aanleiding  geven  tot  het  optreden  van  visuele 
illusies  en  een  verlies  van  situationeel  bewustzijn.  Er  komen  echter  steeds  meer 
nachtzichtcamera’s  beschikbaar  die  afbeeldingen  maken  in  meerdere  spectra le  banden. 
Deze  camera’s  kunnen  een  ‘false-colour’  afbeelding  van  de  buitenwereld  maken  door 
de  afzonderlijke  spectrale  banden  in  de  verschillende  kanalen  van  een  kleurendisplay  af 
te  beelden.  Met  dergelijke  systemen  wordt  echter  geen  realistische  kleurweergave 
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bereikt  (vandaar  de  aanduiding  ‘false-colour’).  In  voorgaande  studies  is  gebleken  dat  de 
prestaties  van  waarnemers  met  ‘false-colour’  beelden  afhangt  van  de  natuurgetrouwheid 
van  de  kleurenweergave  (de  mate  waarin  deze  weergave  overeenstemt  met  de 
werkelijkheid,  Toet  et  al.,  1997;  Toet,  2006;  Toet  &  Franken,  2003).  Waarnemers  die 
visuele  zoek-  en  detectietaken  uitvoeren  presteren  slechter  met  beelden  die  er 
‘onnatuurlijk’  gekleurd  uitzien,  en  ze  presteren  beter  wanneer  de  beelden  er  intuitief 
vertrouwd  uitzien.  Door  de  vaak  sterk  uiteenlopende  aard  van  de  verschillende  spectrale 
banden  (de  signalen  geven  ofwel  alleen  de  reflectie-  ofwel  een  combinatie  van  reflectie- 
en  emissie-eigenschappen  van  het  materiaal  in  de  scene  weer)  is  het  principieel 
onmogelijk  een  afbeelding  te  construeren  die  in  alle  gevallen  overeenkomt  met  de  ons 
bekende  daglichtkleurenfoto.  Men  heeft  daarom  de  keuz.e  (1 )  een  kleurenafbeelding  te 
ontwerpen  die  in  de  meeste  gevallen  goed  overeenkomt  met  het  vertrouwde 
kleurenbeeld,  of  (2)  de  kleurenafbeelding  voortdurend  aan  te  passen  aan  de  wisselende 
omstandigheden. 

De  verschillende  nachtzichttechnologieen  vullen  elkaar  aan,  omdat  ze  verschillende 
informatie  over  de  scene  afbeelden  Zo  kan  een  gecombineerd  warmtebeeld  (WB)  en 
helderheidsversterker  (HV)-beeld  een  vollediger  beeld  geven  van  de  scene  dan  elk  der 
afzonderlijke  beelden.  Het  combineren  van  verschillende  technologieen  biedt  nog  meer 
belangrijke  voordelen,  zoals: 

•  een  verbetering  van  de  (intuitieve)  ‘situationeel  bewustzijn’  en  de  detectieprestatie; 

•  een  verbetering  van  de  waarneming  tijdens  verminderd  zicht  als  gevolg  van 
gevechtsveldeffecten  (rookgordijnen  die  een  scene  visueel  aan  het  gezicht 
onttrekken  zijn  vaak  doorzichtig  met  WB); 

•  een  verbetering  van  de  waarneming  tijdens  verminderd  zicht  (als  de  ene  sensor  in 
bepaalde  omstandigheden  minder  goed  werkt  neemt  de  andere  het  automatisch 
over); 

•  een  vermindering  van  de  ambigui'teit  (‘clutter’  in  het  warmtebeeld  wordt  minder 
storend  als  men  visuele  verificatie  mogelijkheden  heeft); 

•  een  verbetering  van  de  robuustheid  van  het  systeem  in  operationele  situaties 
(als  een  sensor  uitvalt,  blijft  de  andere  nog  beschikbaar). 

Verder  hoeft  de  gebruiker  geen  keuze  meer  te  maken  tussen  het  gebruik  van  de 
verschillende  technologieen  (ergonomisch  voordeel). 

Recentelijk  heeft  TNG  Defensie  en  Veiligheid  (TNO  D&V)  een  methode  ontwikkeld 
die  het  mogelijk  maakt  een  combinatie  van  WB  en  HV-beeld  weer  te  geven  in 
natuurlijke  daghchtkleuren.  Het  is  waarschijnlijk  dat  het  gebruik  van  een  gecombineerd 
beeld  waarin  (1)  alle  relevante  informatie  van  de  afzonderlijke  WB-  en  HV-camera’s 
goed  herkenbaar  is  samengevoegd  en  (2)  dat  bovendien  lijkt  op  een  normaal 
dagzichtbeeld,  zal  leiden  tot  een  verbeterd  ‘situationeel  bewustzijn’  van  de  waarnemer, 
en  het  afnemen  van  misinterpretaties  en  illusies.  Ook  in  situaties  waarin  momenteel 
geen  gebruik  wordt  gemaakt  van  nachtzichtapparatuur  kan  het  ATHENA-concept 
voordelen  bieden. 

Hierbij  kan  men  bijvoorbeeld  denken  aan  ‘urban  warfare’  condities,  waarin  de 
waarnemer  zich  buiten  bevindt  en  de  vijand  zich  schuil  houdt  in  gebouwen. 

De  ATHENA-kijker  maakt  het  mogelijk  individuen  in  donkere  gangen  of  kamers  te 
detecteren  en  identificeren  door  gebruik  te  maken  van  het  thermische  contrast  van 
dergelijke  doelen  en/of  het  contrastrijke  beeld  van  de  HV-camera. 
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1.3  ATHENA  deliverables 

De  deliverables  behorende  bij  het  ATHENA  project,  zoals  die  zijn  vastgelegd  in  NTP 
overeenkomst  N04/47  d.d.  17  mei  2005,  zijn  de  volgende  7  items. 

1  Verslag  met  een  beschrijving  van  de  dataset  met  gesynchroniseerde  WB-  en  HV- 
beelden  en  van  de  geoptimaliseerde  kleurenfusiealgoritmen. 

2  Camera-unit  met  uitgelijnde  en  gesynchroniseerde  WB-  en  HV-camera. 

Verslag  met  een  beschrijving  van  het  systeem. 

3  Verslag  met  de  beschrijving  van  scenario’s,  de  optimale  sensorcombinatie,  en 
dataset  met  gesynchroniseerde  WB-  en  HV-beelden  opgenomen  volgens  de 
scenario’s 

4  Verslag  met  een  beschrijving  van  de  beeldregistratie 

5  Verslag  met  een  beschrijving  van  de  integrate. 

6  Demonstratie  aan  de  opdrachtgever.  Verslag  waarin  de  meerwaarde  van  het 
ATHENA-concept  wordt  aangetoond. 

7  Geintegreerd  eindrapport. 

De  camera-unit  met  uitgelijnde  en  gesynchroniseerde  WB-  en  HV-camera  is  geleverd 
door  Thales  Optronics  B.V.  en  is  in  beheer  bij  TNO.  De  scenario’s  zijn  beschreven  in 
een  apart  rapport  (Lensen  et  al ,  2007).  Het  huidige  rapport  omvat  alle  overige 
deliverables,  op  de  demonstratie  na.  Tabel  1  geeft  de  relatie  tussen  de  verschillende 
secties  van  dit  rapport  en  deze  deliverables. 


Tabel  1  Relatie  tussen  de  deliverables  en  de  hoofdstukken  van  dit  rapport 


Deliverable 

Inhoud 

Sectie  rapport 

1 

-  beschrijving  geoptimaliseerde 
kleurenfusie  algoritmen 

2 

-  beschrijving  dataset 

Bijlage  A 

2 

-  ATHENA  hardware 

Beschikbaar 

-  Systeem  beschrijving 

3.1 

3 

-  Scenario  studie 

Zie  rapport  Lensen  e.a.  2007. 

-  Beschrijving  dataset  opgenomen 
volgens  scenario’s 

Bijlage  A 

4 

-  Beschrijving  beeldregistratie 

3.2.1 

5 

-  Beschrijving  integratie 

3.3 

6 

-  Demonstratie 

2^  helft  2007 

-  Verslag  meerwaarde  ATHENA 
concept 

4 

7 

-  Geintegreerd  eindrapport 

Dit  rapport 
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2  Optimalisatie  van  de  kleuren  fusie  algorithmen 


2.1  Inleiding 

Recentelijk  heeft  TNO  D&V  een  methode  ontwikkeld  die  het  mogelijk  maakt  een 
combinatie  van  HV-  en  WB-beeld  weer  te  geven  in  natuurlijke  daglichtkleuren 
(Toet,  2003).  De  methode  gaat  uit  van  de  kleurstelling  van  een  referentiebeeld 
(van  bijvoorbeeld  een  bepaald  deel  van  het  operatiegebied)  dat  qua  inhoud 
representatief  is  voor  de  gehele  set  beelden  waarop  de  kleurentransformatie  moet 
worden  toegepast.  Hoewel  de  methode  realistisch  gekleurde  nachtzichtbeelden  oplevert, 
is  deze  niet  direct  geschikt  voor  praktisch  gebruik.  Zo  is  de  methode  bijvoorbeeld  vrij 
rekenintensief,  waardoor  realtime  implementatie  moeilijk  wordt.  Verder  is  de  kleur  van 
objecten  mede  afhankehjk  van  de  overige  beeldinhoud,  waardoor  objekten  van  kleur 
kunnen  veranderen  wanneer  het  camerasysteem  door  een  scene  heen  beweegt. 

Verder  kan  het  bij  inkleuring  met  daglichtkleuren  voorkomen  dat  doelen  niet  goed 
zichtbaar  afgebeeld  worden  omdat  ze  (bijna)  dezelfde  kleur  krijgen  als  hun  omgeving 
(camouflage). 

In  de  huidige  studie  is  daarom  onderzocht: 

•  Op  welke  manier  de  inkleuring  van  een  gecombineerd  HV  en  WB  beeld  in  realtime 
kan  worden  gei'mplementeerd. 

•  Of  en  hoe  de  overeenstemming  met  dagliehtkleuring  verbeterd  kan  worden. 

•  Hoe  informatie  van  de  verschillende  sensoren  (HV,WB)  het  beste  kan  worden 
gecombineerd  zodat  dat  doelen  goed  onderscheidbaar  zijn. 

In  dit  hoofdstuk  bespreken  we  eerst  de  reeds  eerder  gepubliceerde  kleuren 
transformatiemethode.  Daama  wordt  uitgelegd  hoe  deze  methode  kan  worden 
vervangen  door  een  lookup  table  operatie,  die  niet  alleen  veel  eenvoudiger  (en  daarom 
in  real-time  te  implementeren)  is,  maar  die  als  bijkomend  voordeel  heeft  dat  de  kleur 
van  objecten  onafhankelijk  is  van  de  overige  beeldinhoud  van  een  scene 
Vervolgens  wordt  uitgelegd  hoe  de  benodigde  lookup-tabellen  eenvoudig  kunnen 
worden  afgeleid  uit  een  aantal  samples  afkomstig  uit  correspondende  beelden  van 
verschillende  sensoren  en  een  daglichtkleurenfoto  van  dezelfde  scene.  Tenslotte  wordt 
een  kleurentransformatie  gepresenteerd  die  de  verschillende  details  in  een  scene 
optimaal  onderscheidbaar  maakt. 

2.2  Statistische  gelijkstelling  van  beelden 

In  Toet  (2003)  wordt  een  methode  beschreven  waarmee  false-colour  beelden  op  een 
natuurlijke  manier  kunnen  worden  ingekleurd.  Dit  gebeurt  door  verschillende 
statistische  eigenschappen  van  het  false-colour  beeld  gelijk  te  maken  aan  die  van 
natuurlijke  beelden.  De  RGB-waarden  van  het  false-colour  beeld  worden  hierbij  eerst 
getransformeerd  naar  een  perceptuele  gedecorreleerde  kleurenruimte,  waarna  de  eerste 
orde  statistieken  (gemiddelden  en  standaard  deviaties)  worden  gelijkgesteld  aan  die  van 
een  natuurlijk  (kleuren)  referentiebeeld.  Vervolgens  wordt  het  beeld  teruggetransformeerd 
naar  RGB-waarden,  waarna  het  weer  op  een  kleuren  display  kan  worden  afgebeeld. 
Figuur  1  geeft  een  voorbeeld  waarbij  uitgegaan  wordt  van  beelden  van  een  H  V-sensor 
(helderheidsversterker).  Het  false-colour  beeld  wordt  hier  verkregen  door  het  signaal 
van  de  sensor  met  behulp  van  twee  optische  filters  te  splitsen  in  twee  delen: 
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een  deel  represented!  het  visuele  deel  van  het  electromagnetische  spectrum 
(golflengten  kleiner  dan  700  nm;  verkregen  door  gebruik  te  maken  van  een  laagdoorlaat 
filter;  zie  figuur  1)  en  het  andere  deel  represented!  het  nabije  infrarood  deel  van  het 
spectrum  (golflengten  groter  dan  700  nm;  verkregen  met  een  hoogdoorlaat  filter; 
zie  figuur  lb). 


Figuur  1  Voorbeeld  van  inkleuring  van  twee  met  tie  methode  beschreven  in  Toct  (2(X)3). 

(a)  Het  deel  van  het  HV  sensor  signaal  dat  het  zichtbare  licht  in  de  scene  represented! 
(golflengten  beneden  700  nm).  (b)  Het  deel  van  het  HV  sensor  signaal  dat  het  nabije  infrarode 
lieht  in  de  scene  represented!  (golflengten  boven  700  nm).  (c)  Het  referentie  kleurenbeeld. 

(d)  Het  gekleurde  resultaat.  verkregen  door  de  statistiek  van  de  RG  false-colour  eombinatie  van 
respectievelijk  (a)  en  (b)  gelijk  te  maken  aan  de  statistiek  van  het  referentie  kleurenbeeld  (c). 


Een  natuurlijke  inkleuring  kan  worden  verkregen  door  een  refentie  kleurenbeeld  te 
kiezen  dat  qua  structuur  en  inhoud  zo  goed  mogelijk  aansluit  bij  het  in  te  kleuren  false- 
colour  beeld  Het  gebruikte  referentiebeeld  hoeft  dus  niet  per  se  dezelfde  scene  te  tonen 
als  het  false-colour  beeld,  maar  moet  bij  voorkeur  wel  dezelfde  typen  objecten  bevatten, 
en  in  ongeveer  dezelfde  mate. 

2.3  Gebruik  van  kleurentabellen 

De  bovengenoemde  kleuren  transformatie  methode  kan  ook  worden  gebruikt  om 
dynamische  false-colour  beelden  in  te  kleuren.  De  methode  moet  dan  achtereenvolgens 
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worden  toegepast  op  de  afzonderlijke  beelden  van  de  tijdreeks.  Een  eigenschap  van  de 
kleurtransformatie  is  het  feit  dat  objecten  die  een  groot  deel  van  het  beeld  beslaan 
(dominante  objecten)  ook  een  grote  invloed  hebben  op  de  inkleuring.  Bij  het  inkleuren 
van  dynamische  beelden  is  deze  eigenschap  vervelend,  omdat  de  kleurstelling  van  het 
beeld  dan  verandert  met  de  mate  waarin  een  dominant  object  in  beeld  is.  Dit  betekent 
dat  bewegingen  van  de  camera  over  de  scene  of  de  aanwezigheid  van  bewegende 
objecten  in  de  scene  resulteren  in  kleurveranderingen  van  het  beeld  Dit  effect  kan 
echter  worden  voorkomen  door  gebruik  te  maken  van  een  vaste  kleurentransformatie 
(die  dus  niet  in  de  tijd  verandert). 


Figuur  2  (a)  Een  rood-groen  beeld  dat  de  sensorbeelden  van  respective hjk  tiguur  1  a  (in  nxxl)  en  figuur  lb 

(in  groen)  representee rt.  (b)  Het  ingekleurde  resultaat  na  toepassing  van  het  algoritme  van  Toet 
(2003;  zelfde  als  in  figuur  Id),  (c)  Representatie  van  alle  mogelijke  combi naties  van 
signaalwaarden  afkomstig  van  de  twee  afzonderlijke  sensoren.  De  linkerbovenhoek  in  deze 
figuur  rcpresenteert  de  situatie  waarbij  beide  sensoren  geen  output  geven  (beide  een  0  signaal 
afgeven),  de  rechteronderhoek  komt  overeen  met  de  situatie  waarin  beide  sensoren  een 
maximaal  signaal  afgeven.  (d)  Resultaat  van  de  transformatie  van  (c)  met  het  algoritme  van 
Toet  (2003).  De/e  figuur  toont  alle  mogelijke  kleuren  die  na  transformatie  in  het 
getransformeerde  sensorbeeld  (b)  kunnen  voorkomen.  Het  beeldpaar  (c)  en  (d)  vormt  een 
lookup  tabel  die  de  kleurtransformatie  volledig  vastlegt. 


Figuur  2  geeft  inzicht  in  de  werking  van  de  kleurentransformatie  volgens  het  algoritme 
van  Toet  (Toet,  2003).  Het  input  false-colour  beeld  (figuur  2a)  is  verkregen  door  de 
twee  afzonderlijke  kanalen  van  een  HV  beeld  die  het  zichtbare  (figuur  la)  en  het  nabije 
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infrarood  (figuur  lb)  deel  van  het  spectrum  weergeven  respectievelijk  af  te  beelden  via 
de  R  (rode)  en  G  (groene)  kanalen  van  een  RGB-beeld.  Het  RG-beeld  in  figuur  2c 
represented!  alle  mogelijke  combinaties  van  intensiteiten  in  de  twee  sensorbeelden. 
Figuur  2d  represented!  figuur  2c  na  toepassing  van  de  kleurtransformatie  die  figuur  2a 
in  figuur  2b  omzet,  gebruik  makend  van  het  referentiebeeld  weergegeven  in  figuur  lc. 
Figuur  2d  geeft  dus  voor  elke  mogelijke  combinatie  van  sensorwaarden  (RG  waarden) 
de  voor  inkleuring  gebruikte  kleur  (RGB-waarde).  De  combinatie  van  de  figuur  2c  en 
figuur  2d  legt  de  kleurtransformatie  volledig  vast.  Elk  pixel  correspondeert  met  een 
bepaalde  set  sensorwaarden,  gerepresenteerd  door  een  RG-waarde  (in  figuur  2a). 

Deze  RG  combinatie  kan  worden  opgezocht  in  figuur  2c.  Vervolgens  kan  in  figuur  2d 
de  corresponderende  pixel  (dat  wil  zeggen:  de  pixel  met  dezelfde  beeldcoordinaten) 
worden  opgezocht  en  de  bijbehorende  RGB-waarde  worden  afgelezen.  Door  dit  voor 
alle  pixels  in  het  RG  beeld  te  doen  krijgt  men  de  ingekleurde  (RGB)  versie  van  het  RG 
beeld  (bijvoorbeeld  figuur  2b).  Bij  sensorbeelden  bestaande  uit  8  bits  kunnen  alle 
mogelijke  combinaties  van  RG-waarden  worden  gerepresenteerd  door 
256  x  256  =  65536  waarden  (1 6  bits). 

De  kleurstelling  van  een  false-colour  beeld  kan  dus  worden  getransformeerd  door  voor 
elke  pixel  te  bepalen  om  welke  RG-combinatie  het  gaat  (bijvoorbeeld  met  een  index  in 
een  kleurentabel  van  65536  waarden)  en  vervolgens  de  bijbehorende  getransformeerde 
kleurwaarde  op  te  zoeken  in  de  getransformeerde  kleurentabel  (eveneens  bestaande  uit 
65536  waarden).  Men  kan  er  ook  voor  kiezen  om  kleurentabel len  te  gebruiken  met 
minder  waarden,  bijvoorbeeld  een  kleurentabel  met  slechts  256  waarden.  In  dat  geval 
moet  voor  elke  pixel  in  het  RG-beeld  de  best  overeenkomende  RG  waarde  in  de 
kleurtabel  worden  bepaald.  Vervolgens  kan  in  de  tabel  worden  opgezocht  naar  welke 
RGB-waarde  deze  -best  overeenkomende-  RG-combinatie  wordt  getransformeerd. 

Door  met  kleurentabellen  te  werken  wordt  iedere  combinatie  van  inputwaarden  (van  de 
twee  sensoren)  op  een  unieke  RGB-combinatie  afgebeeld  (onafhankelijk  van  de  grootte 
van  objecten  in  het  beeld).  Daardoor  blijft  in  dynamische  situaties  (scenes  met  sterk 
wisselende  beeldinhoud)  de  inkleuring  stabiel  (dat  wil  zeggen*  de  kleuren  veranderen 
niet  wanneer  de  beeldinhoud  varieert,  en  de  kleurstelling  van  het  beeld  blijft  dus 
constant).  Een  bijkomend  voordeel  van  deze  aanpak  is  het  feit  dat  een  kleurentabel- 
transformatie  met  een  computer  erg  snel  is  uit  te  voeren,  zodat  de  inkleuring  zelfs  voor 
hoge  beeldfrequenties  en  grote  beelden  in  realtime  gerealiseerd  kan  worden 

2.4  Inkleuring  van  tvvee-kanaals  sensorbeelden  aan  de  hand  van  samples 

In  plaats  van  gebruik  te  maken  van  de  statistische  eigenschappen  van  natuurlijke 
beelden  kan  een  kleurtransformatie  ook  worden  afgeleid  wanneer  voor  een  aantal 
combinaties  van  sensorwaarden  in  verschillende  spectrale  banden  de  corresponderende 
natuurlijke  kleurwaarden  (RGB  waarden)  bekend  zijn.  Een  dergelijke  aanpak  werkt  het 
best  wanneer  men  beschikt  over  een  groot  aantal  samples.  We  gaan  hier  uit  van  een 
afleiding  op  grond  van  sensorbeelden  waarbij  voor  elke  pixel  de  daglicht  (RGB) 
kleurenwaarde  bekend  is.  Figuur  3  geeft  een  voorbeeld  van  deze  methode.  In  dit 
voorbeeld  gaan  we  uit  van  een  RGB-beeld  (figuur  3a)  en  beschouwen  we  de  R  en  G 
kanalen  als  de  individuele  sensorsignalen  (figuur  3b). 
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Eiguur  3  Afleiding  van  de  optimale  kleurentransformatie  op  grond  van  een  groot  aantal  samples. 

(a  )  Het  RGB-refcrentie  kJcuren  beeld.  (b)  Een  sensorbeeld  bestaande  uit  twee  banden  (in  dit 
voorbeeld  zijn  hiervoor  de  R  en  G  signalen  genomen).  (e)  De  (uit  alle  samples)  afgeleide 
kleurentransformatie  van  alle  mogelijke  RG-combinaties.  (d)  Het  ingekleurde  resultaat 
verkregen  door  de  kleurtransformatie  uit  (e)  toe  te  passen  op  (b).  De  sensorinput  (b)  is 
vergelijkbaar  met  die  van  een  tritanoop  kleurenblinde,  die  de  blauwgevoelige  kegeltjes  in  de 
retina  mist. 

Eerst  wordt  het  rood-groen-beeld  omgezet  in  een  geindexeerd  (index)  beeld  waarbij  de 
kleuren  (RG-waarden)  indirect  zijn  vastgelegd  in  een  kleurentabel.  Elke  pixel  krijgt 
hierbij  een  index  waarvan  de  kleurentabel-waarde  (zo  goed  mogelijk)  overeenkomt  met 
de  RGB-waarde.  Er  wordt  vervolgens  een  nieuwe  kleurentabel  opgebouwd  door  bij  elke 
pixel  de  index  af  te  lezen  en  aan  die  index  (bij  de  nieuwe  kleurentabel)  de  RGB-waarde 
toe  te  kennen  van  het  corresponderende  pixel  in  het  referentie  beeld  (figuur  3a). 

Als  meerdere  pixels  dezelfde  index  hebben  wordt  eerst  het  gemiddelde  genomen  van  de 
CIE  L*a*b*-waarden  over  alle  pixels  met  dezelfde  index,  en  wordt  dit  gemiddelde 
vervolgens  omgezet  naar  RGB  waarden  (deze  operatie  mimmaliseert  het  perceptuele 
verschil  volgens  de  CIE  L*a*b*  standaard  kleuren  ruimte  specificatie:  CIE,  1994). 

Als  uiteindelijk  bij  het  ge'i’ndexeerde  RG-beeld  de  nieuwe  kleurentabel  wordt  gekozen 
zal  het  beeld  veranderen  in  een  ingekleurd  beeld  met  kleuren  die  zo  goed  mogelijk 
aansluiten  bij  de  kleuren  in  het  referentiebeeld  (figuur  3d).  Het  ingekleurde  beeld  is  in 
dit  geval  nauwelijks  te  onderscheiden  van  het  origineel  (de  gemiddelde  afstand  in  de 
perceptuele  CIE  L*a*b*-kleurenruimte  (CIE,  1995)  is  7.0).  De  kleurentransformatie 
gaat  vervolgens  uit  van  de  twee  kleurentabellen:  de  RG-kleurentabel  en  de  nieuwe 
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kleurentabel  (zie  figuur  3c).  Bij  de  realtime  implementatie  wordt  het  sensorbeeld  in  de 
RG-kanalen  gevoerd  en  omgezet  naar  een  geindexeerd  beeld  met  kleuren  overeenkomend 
met  de  RG-kleurentabel  Deze  tabel  wordt  verwisseld  met  de  nieuwe  kleurentabel 
waama  een  natuurlijk  ingekleurd  beeld  ontstaat. 

Het  idee  is  om  voor  verschillende  omgevingen  de  bijbehorende  kleurentransformatie 
beschikbaar  te  hebben  en  vervolgens  in  de  praktijk  een  inkleuring  te  kiezen  die  het 
beste  aansluit  bij  de  omgeving  waarin  de  sensor  wordt  gebruikt.  De  afleiding  van  de 
optimale  kleurentransformatie  hoeft  in  de  praktijksituatie  dus  niet  meer  te  worden 
gedaan.  Deze  is  vastgelegd  met  de  twee  kleurentabellen  die  voor  diverse  omgevingen 
met  het  product  worden  meegeleverd  (of  in  een  eerder  stadium,  voorafgaand  aan  het 
gebruik  worden  afgeleid).  Bij  deze  methode  wordt  de  statistiek  van  het  beeld  gebruikt 
(als  verschillende  pixels  met  dezelfde  rood-groen  waarden  in  het  referentiebeeld  vaker 
blauw'  dan  rood  zijn  zullen  zij  er  in  het  ingekleurde  beeld  ook  blauwig  uit  komen  te 
zien).  Door  dergelijke  voorkennis  te  gebruiken  is  het  toch  mogelijk  een  redelijke 
inschatting  te  maken  van  de  daglicht  kleuren  (ook  voor  iemand  met  een 
kleurzienstoornis,  zie  figuur  3). 

Het  is  aan  te  bevelen  voor  elke  index  van  de  kleurentabel  naast  een  gemiddelde 
L*a *b*  -waarde  tevens  de  gemiddelde  standaarddeviatie  te  bepalen.  Een  hoge  waarde 
van  de  standaarddeviatie  betekent  namelijk  dat  de  RGB-waarde  voor  verschillende 
samples  met  vergelijkbare  sensorwaarden  sterk  verschilt. 

De  overeenkomst  tussen  een  ingekleurd  sensorbeeld  en  een  kleurendaglichtopname  van 
dezelfde  scene  zal  afhangen  van  de  correlate  tussen  de  natuurlijke  kleuren  en  de 
sensorwaarden  (dat  wil  zeggen  de  corresponderende  pixelwaarden  van  de  afzonderlijke 
camerabeelden).  Naarmate  deze  correlatie  hoger  is  zal  het  ingekleurde  eindresultaat  het 
overeenkomstige  daglichtbeeld  beter  benaderen.  De  natuurlijke  RGB-waarden  kunnen 
niet  worden  voorspeld  op  basis  van  de  sensorwaarden  wanneer  de  correlatie  tussen  de 
sensorwaarden  en  de  natuurlijke  kleuren  laag  is.  Zo  is  er  op  basis  van  sensoren  die  hun 
gevoeligheid  hebben  in  het  verre  infrarode  deel  van  het  spectrum  geen  natuurlijke 
inkleuring  mogelijk  (dergelijke  beelden  representeren  het  temperatuurcontrast  van 
objecten  en  hun  directe  omgeving,  en  bevatten  geen  informatie  over  de  kleur  van  de 
objecten).  Beelden  die  zijn  opgenomen  met  een  combinatie  van  sensoren  met 
gevoeligheden  in  of  rond  het  zichtbare  deel  van  het  electromagnetische  spectrum 
kunnen  waarschijnlijk  het  meest  succesvol  worden  ingekleurd  (zie  figuur  4). 

Uit  de  praktijk  blijkt  dat  de  verhouding  tussen  de  sensorwaarden  karakteristiek  is  voor 
de  eigenschappen  van  de  afgebeelde  materialen  in  de  scene.  Dit  komt  onder  andere  tot 
uiting  in  de  figuren  die  de  kleurentransformatie  weergeven  (zie  figuren  2d,  3c,  4c). 

In  deze  plaatjes  is  de  kleurtint  (hue)  langs  rechte  lijnen  die  door  de  linkerbovenhoek 
gaan  vrijwel  constant.  Dit  gegeven  kan  worden  gebruikt  om  met  een  relatief  klein  aantal 
monsters  (pixels)  een  natuurlijke  kleurentransformatie  af  te  leiden.  In  dat  geval  is 
theoretisch  het  minimaal  benodigde  aantal  samples  gelijk  aan  het  aantal  verschillende 
materialen  dat  in  de  scene  voorkomt. 
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Figuur  4  Effect  van  verschillende  kleurentransformaties.  (a)  Hct  originele  RGB  kleurenbeeld 

(het  referentiebeeld).  (b)  De  RG  representatie  van  (a),  (c)  l)e  kleurentransformatie  uit 
figuur  3c.  (d)  Resultaat  van  de  inkleuring  van  (b)  met  de  transformatie  (c).  (e)  Het  kleurcn- 
schema  dat  is  afgeleid  uit  alle  samples  van  (a),  (f)  Resultaat  van  de  inkleuring  van  (b)  met  de 
transformatie  (e).  Merk  op  dat  (0  beter  met  (a)  overeenkomt  dan  (d).  Dit  komt  ook  tot  uiting  in 
het  gemiddelde  versehil  in  de  CIE  L*a*b*  waarde  (zie  CIE,  1995)  met  het  origineel  dit 
verschil  bedraagt  respeetievelijk  7.5  voor  figuur  4d  en  4.8  voor  figuur  4f. 
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2.5  Natuurlijke  inkleuring  met  accentuering  van  potentiele  doelen 

Figuur  5  geeft  een  voorbeeld  van  natuurlijke  inkleuring  van  een  sensorbeeld  bestaande 
uit  een  warmtebeeld  (figuur  5a)  en  een  beeld  van  een  helderheidsversterker  (figuur  5b), 
op  basis  van  het  daglichtbeeld  weergegeven  in  figuur  5d.  De  kleurentransformatie  die 
optimaal  aansluit  bij  de  natuurlijke  daglichtkleuren  staat  weergegeven  in  figuur  5e. 

Het  resultaat  van  de  inkleuring  (figuur  5f)  komt  goed  overeen  met  het  referentie  daglicht 
kleurenbeeld  (figuur  5d:  de  gemiddelde  afstand  in  de  CIE  L*a*b*  ruimte  tussen  figuur  5f 
en  figuur  5d  is  4.4).  Echter,  in  dit  ingekleurde  beeld  is  de  gecamoufleerde  soldaat  (links 
onder  in  beeld)  nauwelijks  van  de  achtergrond  te  onderscheiden,  terwijl  hij  in  het 
thermische  beeld  duidelijk  tegen  de  achtergrond  afsteekt.  Een  natuurlijke  inkleuring  is 
daarom  minder  geschikt  om  potentiele  doelen  op  te  sporen. 
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(e) 


(g) 


l'iguur  5  Natuurlijke  inkleuring  van  de  eombinatie  van  twee  monochrome  nacht/.icht  opnamen  van 
dezclfde  scene,  (a)  Warmtebeeld  (8-12  |im).  (b)  Beeld  van  een  helderheidsversterker. 

(c)  I>e  gecombineerde  weergave  van  (a)  en  (b)  in  respectievclijk  de  R  en  G  kanalen  van  een  RGB 
kleurenbeeld.  (d)  Een  daglicht  kleurenopname  van  dezelfde  scene,  (e)  Paren  corresponded nde 
pixels  in  deze  twee  beeklen  definieren  de  optimale  transformatie  van  sensorwaarden  naar  RGB 
kleurwaarden  (zie  tekst).  (0  Het  resultaat  van  de  inkleuring  van  (e)  volgens  de 
kleurentransformatie  uit  (e).  (g)  Kleurentransformatie  die  potentiele  doelen  (warme  objecten) 
rood  kleurt.  (h)  Het  resultaat  van  de  inkleuring  van  (e)  volgens  de  kleurentransformatie  uit  (g). 


Als  alternatief  kan  men  gebruik  maken  van  een  kleurenschema  dat  goed  overeenkomt 
met  de  daglichtkleuren  voor  de  achtergrond  terwijl  potentiele  doelen  goed  afsteken  tegen 
de  achtergrond  (figuur  5g).  Een  voorbeeld  hiervan  wordt  gegeven  in  figuur  5h  waarin 
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warme  objecten  rood  worden  afgebeeld.  De  kleurentransformatie  (zie  figuur  5g)  is 
afgeleid  van  de  natuurlijke  kleurentransformatie  (figuur  5e)  door  de  kleur  voor  objecten 
met  toenemende  sensorwaarde  (dus  de  warmere  objecten)  richting  rood  te  verschuiven. 

Een  andere  manier  om  camouflage  van  warme  doelen  te  voorkomen  is  het  toepassen  van 
een  beeldfusietechniek  die  een  grijswaarde  beeld  oplevert  waarbij  ook  delen  die  slechts 
in  een  van  de  beelden  zichtbaar  zijn  naar  voren  komen  (Toet  et  al.,  1989;  Toet,  1990). 

In  het  uiteindelijke  beeld  kan  men  kiezen  voor  inkleuring  volgens  de  beschreven 
inkleuringsmethode  en  de  luminantiewaarden  gelijk  maken  aan  het  gefuseerde  beeld 
(in  het  CIE  model:  a*b*  waarden  uit  het  ingekleurde  beeld,  L*-waarden  uit  het  gefuseerde 
beeld). 

2.6  Kleurentransformatie  voor  optimale  discriminatie 

Zoals  blijkt  uit  het  voorbeeld  in  figuur  5  kan  het  inkleuren  van  sensorbeelden  met 
daglichtkleuren  leiden  tot  de  camouflage  van  objecten.  In  bepaalde  gevallen  zal  men 
daarom  kiezen  voor  een  kleurenschema  dat  de  verschillende  objecten  in  een  scene  juist 
optimaal  onderscheidbaar  maakt,  en  daarbij  het  feit  dat  het  resultaat  onnatuurlijk  gekleurd 
is  op  de  koop  toe  nemen.  Voor  dergelijke  toepassingen  hebben  w  ij  een  kleurenschema 
afgeleid  dat  wordt  gepresenteerd  in  figuur  6a. 


(c)  (d) 


Figuur  6  (a)  Fxn  kleurtransformatie  die  de  verschillende  beeldelementen  in  een  twee  kanaals  sensor 

beeld  optimaal  onderscheidbaar  maakt.  (b)  Het  sensorbeeld  uit  Figuur  5c.  (c)  Resultaat  van  de 
kleurentransformatie  uit  (a)  toegepast  op  het  sensorbeeld  in  Figuur  5c.  (d)  Het  resultaat  uit  (c) 
kan  nog  verder  worden  verbeterd  doorde  luminantie  component  van  dit  beeld  te  vervangen 
door  het  beeld  dat  kan  worden  verkregen  door  de  twee  afzonderlijke  sensorsignalen  te  fuseren 
volgens  het  algoritme  Toet  ( 1 992). 

Dit  kleurenschema  is  gebaseerd  op  het  idee  dat  de  verhouding  tussen  de  sensorwaarden 
karakteristiek  is  voor  de  objecteigenschappen  (zie  sectie  2.3).  In  dit  kleurenschema 
wordt  de  verhouding  tussen  de  sensorwaarden  door  verschillende  kleurtinten  (hues) 
gerepresenteerd,  terwijl  de  gemiddelde  sensorwaarde  de  helderheid  weergeeft. 
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3  Het  ATHENA  systeem 


Het  ATHENA  systeem  als  geheel  bestaat  uit  de  combinatie  van  een  warmtebeeld 
camera  en  een  digitale  helderheidsversterker,  waarvan  de  afzonderlijke  signalen  door 
een  framegrabber  worden  gedigitaliseerd  en  door  middel  van  een  computer  worden 
samengesteld  tot  een  enkel  beeld  dat  vervolgens  via  een  lookup  kleurentabel  wordt 
weergegeven  op  een  standaard  RGB  display.  De  stappen  die  daarbij  doorlopen  worden 
zijn: 

•  Het  grabben  van  de  beelden  (in  zwart/wit)  afkomstig  van  de  twee  camerasystemen. 

•  Het  aanpassen  van  een  van  beide  beelden  zodat  die  precies  over  het  andere  beeld 
valt  (het  ‘matchen’). 

•  Het  samenstellen  van  beide  beelden  tot  een  enkel  false-colour  beeld  door  ze 
respectievelijk  toe  te  kennen  aan  het  rode  en  groene  kanaal  van  een  kleuren 
videosignaal, 

•  Het  opnieuw  inkleuren  van  het  aldus  verkregen  false-colour  beeld  met  behulp  van 
een  eerder  bepaalde  look-up  kleurentabel 

•  Het  in  real-time  weergeven  van  het  resulterende  gekleurde  beeld. 

In  de  volgende  paragrafen  wordt  de  hardware  en  software  besproken  die  in  ATHENA 
systeem  wordt  gebruikt. 
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3.1  De  ATHENA  hardware 


Figuur  7  Het  ATHENA  camcrasystcem.  De  Lion  Advance  WB  camera  is  zodanig  bovenop  de  HV 
camera  gemonteerd  dat  de  optische  assen  van  beide  camera’s  parallel  lopen  Naast  het 
camerasysteem  is  er  ook  een  digitale  fotocamera  geplaatst. 
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3.1.1  Camera's 

Het  ATHENA  camerasysteem  bestaat  uit  een  Lion  Advance  infrarood  (warmtebeeld  of 
WB)  camera  (Thales  Optronics  B.V.)  en  een  digitale  helderheidsversterker  (HVCCD, 
zie  figuur  7). 

De  Lion  Advance  camera  is  een  ongekoelde  warmtebeeld  (WB)  camera  die  gevoelig  is 
in  het  langgolvige  deel  van  het  spectrum  (8-12  pm).  De  field-of-view  (FOV)  van  deze 
camera  is  7,8  x  5,9  graden.  De  brandpuntsafstand  van  de  meegeleverde  lens  bedraagt 
81,72  mm.  De  detector  pitch  is  35  p;  en  de  NETD  <  80  mK. 

De  HVCCD  camera  is  gevoelig  in  het  visuele  en  nabij  infrarode  deel  van  het  spectrum 
en  heeft  een  FOV  van  8,1  x  6,1  graden 

Beide  camera’s  werden  geleverd  door  Thales  Optronics  B.  V.  Helaas  werd  er  geen 
specificatie  van  beide  systemen  meegeleverd. 

In  de  ATHENA  configuratie  wordt  de  Lion  Advance  WB  camera  bovenop  of  naast  de 
HV  camera  gemonteerd,  op  een  gemeenschappelijk  frame,  en  wel  zodanig  dat  de 
optische  assen  van  beide  camera’s  parallel  lopen  (zie  figuur  7). 

Naast  het  camerasysteem  is  er  een  digitale  fotocamera  geplaatst  waarmee  bij  daglicht 
kleurenopnamen  gemaakt  kunnen  worden.  Uit  dergelijke  kleurenfoto’s  kan  een  lookup 
tabel  worden  afgeleid  waarmee  de  beelden  van  het  ATHENA  systeem  in  kleur  kunnen 
worden  weergegeven. 

3.1.2  Frame  grabber 

Een  Matrox  MIL  Lite  framegrabber  wordt  gebruikt  om  de  twee  analoge  (CCIR) 
signalen  van  respectievelijk  de  Lion  Advance  en  de  digitale  HV-camera  sequentieel  te 
grabben  en  vervolgens  als  10  bit  data  (2  bytes  per  pixel)  in  het  computergeheugen  op  te 
slaan  en  naar  de  harddisk  te  schrijven. 

De  beelden  van  de  individuele  camera’s  kunnen  door  de  gebruiker  real-time  worden 
bekeken  als  een  grijswaarde  beeld  (wit  is  ‘heet’  bij  infrarood),  als  een  gei'nverteerd 
grijswaarde  beeld  (zwart  is  ‘heef  bij  infrarood),  of  als  een  false  colour  beeld. 

Een  voorbeeld  hiervan  wordt  getoond  in  figuur  8,  waarin  het  thermische  beeld  in 
grijswaarde  is  afgebeeld  (wit  is  heet),  en  het  HV-beeld  is  weergeven  in  false  colour. 

De  gekozen  beeldweergave  heeft  geen  effect  op  het  eindresultaat,  zoals  dat  door 
ATHENA  wordt  geproduceerd  met  behulp  van  de  gekozen  LUT. 
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Figuur  8  Real-time  weergave  van  het  thermische  beeld  van  de  Lion  Advance  (links)  in  grijswaarde  en 
van  het  HV-beeld  (rechts)  in  false-colour.  De/e  weergave  dient  alleen  ter  inspectie  van  de 
afzonderlijke  camerasignalen  en  heeft  geen  invloed  op  de  uiteindelijke  representatie  van  het 
ATHENA  beeld 

Het  oorspronkelijke  ATHENA  concept  voorzag  alleen  in  de  combinatie  van  een  enkel 
langolvig  infraroodcamerasysteem  (Lion)  en  een  helderheidsversterker  (HV).  Bij  de 
dataregistratie  in  het  huidige  systeem  is  echter  ook  voorzien  in  de  uitbreiding  van  het 
systeem  met  een  derde  camera,  bijvoorbeeld  met  een  warmtebeeldcamera  die  gevoelig 
is  in  het  middelste  gebied  (MW)  van  het  spectrum  (3-5  pm). 

3.2  De  ATHENA  software 

Dit  hoofdstuk  beschrijft  de  stappen  die  doorlopen  moeten  worden  om  de  beelden  van  de 
beide  camera's  in  het  ATHENA  systeem  (het  digitale  HV  beeld  en  het  Lion  Advance 
warmtebeeld)  als  een  enkel  samengesteld  kleurenbeeld  in  real-time  weer  te  kunnen 
geven.  Het  gaat  hier  om  een  beschrijving  van  de  software  zoals  die  nu  beschikbaar  is, 
en  die  in  het  kader  van  het  ATHENA  project  werd  ontwikkeld.  De  ATHENA  software 
bestaat  momenteel  uit  twee  applicaties: 

1  beeldregistratie; 

2  kalibratie  en  real-time  demonstratie. 

Alle  code  is  geschreven  met  behulp  van  Microsoft  Visual  C++  versie  6.0,  Matrox  MIL 
Lite  en  OpenCV. 

3. 2. 1  Beeldregistratie 

Voordat  de  beelden  van  de  verschillende  camera’s  gefuseerd  kunnen  worden  moeten  ze 
eerst  geometrisch  aan  elkaar  gelijk  gemaakt  worden,  zodat  ze  precies  over  elkaar  kunnen 
worden  gelegd  (dat  wil  zeggen  dat  overeenkomstige  beeldpunten  in  de  verschillende 
beelden  corresponderen  met  dezelfde  punten  in  de  buitenwereld).  Daarvoor  moeten  de 
beelden  worden  geschaald  (en  eventueel  vloeiend  gemaakt),  verschoven,  geroteerd,  en 
moet  tenslotte  het  deel  dat  beide  beelden  gemeen  hebben  worden  uitgeknipt.  Om  de 
hoogste  resolutie  te  kunnen  verkrijgen  wordt  het  beeld  met  het  grootste  FOV  zodanig 
opgeschaald  dat  het  gemeenschappelijke  deel  van  beide  beelden  uitgedrukt  in 
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beeldpunten  gelijke  afmetingen  krijgt  in  de  beide  beelden.  Daarvoor  is  het  dus  nodig 
om  het  beeld  van  de  camera  met  de  grootste  FOV  te  vergroten  (zie  paragraaf  3.2. 1.1). 

3.2.1. 1 

Vergroten 

Een  beeld  vergroten  betekent  kortweg  dat  er  informatie  moet  worden  ‘bijgemaakf . 

Dit  wordt  bereikt  door  nieuwe  beeldpunten  te  berekenen  op  basis  van  de  bestaande 
beeldpunten.  Er  zijn  een  aantal  methoden  om  deze  berekening  uit  te  voeren,  zoals 
bijvoorbeeld  nearest  neighbour  interpolate,  bilineaire  en  bicubic  interpolate.  De  hier 
gebruikte  methode  is  de  nearest-neighbour  methode.  Deze  methode  werd  gekozen 
omdat  deze  erg  snel  (in  real-time)  kan  worden  geimplementeerd,  Een  beschrijving  van 
de  werking  van  de  genoemde  methodes  valt  buiten  het  bestek  van  dit  stuk. 

Na  vergroting  bestaat  een  beeld  dus  altijd  uit  meer  pixels  dan  het  originele  input  beeld, 
dat  in  dit  geval  bestaat  uit  768  x  576  beeldpunten. 

3.2. 1.2 

Verschuiven 

Het  uitvergrootte  beeld  wordt  vervolgens  getransleerd  om  de  gemeenschappelijke  delen 
van  beide  beelden  te  laten  overlappen.  De  translate  komt  neer  op  het  aanpassen  van  de 
offset  van  de  beeld  coordinaten  en  er  hoeven  dus  voor  deze  operatie  geen  berekeningen 
te  worden  uitgevoerd. 

3.2. 1.3 

Roteren 

In  pnncipe  is  het  ook  mogelijk  een  rotatie  op  het  uitvergrootte  beeld  toe  te  passen  als 
dat  nodig  is  (als  de  sensoren  van  de  beide  camera's  met  precies  dezelfde  orientate 
hebben  in  het  frontoparallele  vlak  van  de  camera’s).  Bij  het  huidige  ATHENA  systeem 
bleek  deze  correctie  echter  met  nodig  te  zijn. 

3.2.1  4 

Region  of  interest 

Het  overeenkomstige  deel  van  de  beide  camerabeelden  wordt  ‘uitgekmpf .  Deze  Region 
Of  Interest  (ROl)  is  wederom  768  x  576  groot 

3.2. 1.5 

Smoothing 

Om  het  uitvergrootte  beeld  een  wat  ‘gladder'  aanzien  te  geven  en  de  waardes  van  de 
(bijgemaakte)  pixels  iets  te  nivelleren,  wordt  een  smoothing  operatie  toegepast. 

Ook  hiervoor  zijn  in  principe  verschillende  methodes  beschikbaar  Om  de  verwerkings- 
snelheid  hoog  te  houden  is  gekozen  voor  een  algemeen  gebruikte  variant:  Gaussian 
smoothing.  Andere  smoothing  operaties  die  zouden  kunnen  worden  toegepast  zijn 
bijvoorbeeld  blurring  door  het  toepassen  van  een  ongewogen  gemiddelde  of  het  gebruik 
van  mediaan-  of  bilaterale  filters.  Een  beschrijving  van  de  werking  van  de  filters  valt 
buiten  bestek  van  dit  stuk 

Wanneer  het  gemeenschappelijke  deel  van  de  beide  camerabeelden  netjes  over  elkaar 
ligt  is  de  weg  vrij  voor  de  volgende  fase:  het  inkleuren  van  het  gecombineerde 
nachtzichtbeeld. 
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3.3  Systeem  integratie 

Het  geintegreerde  ATHENA  systeem  bestaat  uit 

1  de  gecombineerde  HV  en  WB  camera-unit; 

2  een  framegrabber; 

3  de  implementatie  van  de  beeldregistratie-  en  fusiealgoritmen  op  een  PC-gebaseerd 
systeem; 

4  een  of  meerdere  beeldschermen  waarop  zowel  het  in  kleur  gefuseerde  eindresultaat 
als  ook  de  individuele  input  beelden  door  de  gebruiker  kunnen  worden  bekeken. 

Selectie  van  de  fusiealgoritmen  gebeurt  via  een  gebruikersinterface  op  de  PC. 

De  camera’s  worden  geregeld  via  bedieningsknoppen  op  de  sensor  unit. 

3.3.1  Dataregistratie 

De  applicatie  waarmee  data  kan  worden  opgenomen  is  geschreven  in  Visual  C++  6.0,  in 
combinatie  met  Matrox  MIL  Lite.  Matrox  MIL  Lite  is  nodig  om  de  gebruikte 
framegrabberkaart  te  kunnen  aanspreken. 

De  applicatie  kan  data  van  twee  of  drie  aangesloten  systemen  grabben  en  real-time  naar 
harddisk  schrij  ven.  De  opname  capaciteit  wordt  hierdoor  feitelijk  begrensd  door  de 
grootte  van  de  harde  schijf 

3.3.2  Kalibratie  en  real-time  ATHENA  demonstrate 

De  tweede  applicatie  is  eveneens  geschreven  in  Visual  C++  6.0,  in  combinatie  met 
Matrox  MIL  Lite.  Ook  hier  wordt  Matrox  MIL  Lite  gebruikt  om  de  framegrabber  te 
kunnen  bedienen.  Voor  de  ver-  en  bewerking  van  de  data  wordt  gebruik  gemaakt  van 
OpenCV.  OpenCV  is  zogenaamde  OpenSource  code;  er  vinden  steeds  verbeteringen  en 
uitbreidingen  plaats  aan  de  code  door  een  grote  gebruikersgemeenschap.  Daardoor  is  er 
een  groot  draagvlak  voor  de  code  en  is  een  brede  uitwisseling  en  standaardisenng  van 
procedures  feitelijk  gegarandeerd. 

3.3.3  Kalibratie 

De  camerasystemen  zijn  vertikaal  bo  ven  elkaar  geplaatst,  waardoor  er  een  parallaxfout 
ontstaat  tussen  de  verschillende  input  beelden.  Deze  parallax  fout  hangt  af  van  de 
afstand  tussen  de  camera’s  en  de  opgenomen  details  in  de  scene;  hoe  kleiner  de  afstand 
hoe  groter  de  afwijking. 

De  beeldcorrectie  voor  de  verschillende  field  of  view  van  de  twee  verschillende 
camerasystemen  kan  automatisch  of  met  de  hand  worden  uitgevoerd.  In  het  ATHENA 
systeem  is  momenteel  een  handmatige  methode  geimplementeerd. 

De  gebruiker  kan  de  afmeting  van  het  infrarode  beeld  aanpassen,  alsmede  de  offset  in 
X  en  Y  richting.  Omdat  gebleken  is  dat  de  pixels  van  de  camerasystemen  vrijwel 
vierkant  zijn  en  de  camerasystemen  horizontaal  goed  zijn  uitgelijnd,  is  de  beeldcorrectie 
relatief  eenvoudig. 

Als  de  gebruiker  de  relatieve  positie  van  de  beelden  heeft  aangepast,  worden  de 
instellingen  en  daarbij  behorende  opnameafstand  (dat  wil  zeggen  de  afstand  tussen  de 
camera  en  het  doel  in  de  sc&ne)  opgeslagen  in  een  file,  zodat  de  gegevens  later  nog  eens 
kunnen  worden  bekeken,  of  opnieuw  gebruikt  kunnen  worden. 
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Voor  elke  opnameafstand  moet  er  een  meuwe  kalibratie  plaatsvinden.  Op  voorhand  zou, 
mits  voldoende  weglengte  voor  handen,  een  aantal  kalibratiegetallen  kunnen  worden 
bepaald.  Metingen  zouden  kunnen  worden  gedaan  voor  bijvoorbeeld  100,  150,  200  en 
500  meter  (hetgeen  overeenkomt  met  oneindig).  Gezien  de  grootte  van  de  lens  en 
openingshoeken  is  zijn  metingen  voor  afstanden  kleiner  dan  100  meter  niet  zinvol. 


Figuur  9  Grafische  User  Interface  van  het  AT  HENA  programma.  links  hot  inlrarode  beeld  (1R),  midden 
het  beeld  van  de  helderheidsversterker  (HV).  Verderrechts  een  atbeelding  vande  gebruikte 
lookup  table  (LUT). 


Het  AT  HENA  systeem  kan  in  principe  met  elke  willekeurige  camera  worden  uitgerust, 
mits  die  kan  worden  uitgelijnd  met  de  reeds  aanwezige  camera’s  en  een  analoog 
grijswaarde  beeld  (CCIR)  produceert.  Zo  zijn  er  bijvoorbeeld  al  bij  enkele  gelegenheden 
opnamen  gemaakt  met  een  additionele  infraroodcamera  die  gevoelig  is  in  het  spectrale 
gebied  van  3-5  pm  (zie  figuur  10). 
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Figuur  10  Hot  basis  ATHHNA  systecm  (de  digitale  HV  en  de  Lion  Advance  LWIR  cameras)  in 
combinatie  met  een  3-5  |tm  MWIR  camera 


3.3.4  Mate  hen 

Het  infrarode  beeld  wordt  bewerkt  en  wel  zodanig,  dat  deze  een-op-een  ‘past’  op  het 
HV-beeld.  Het  HV-beeld  is  een  8-bits  beeld  van  768  x  576  pixels.  Met  behulp  van 
OpenCV  worden  de  volgende  berekeningen  uitgevoerd  op  het  infrarode  beeld  om  dat 
vervolgens  op  het  HV  beeld  af  te  kunnen  beelden 

1  Vergroten  van  het  beeld  met  een  (door  de  gebruiker)  ingestelde  factor. 

2  Verschuiven  van  het  beeld  in  X  en  Y  richting,  ofwel  toepassing  van  een  offset  in  X 
en  Y  richting. 

3  Eventueel  roteren  van  het  beeld 

4  Selecteren  en  uitknippen  van  de  region  of  interest  (ROD  van  het  infrarode  beeld. 
zodat  deze  qua  afmetingen  identiek  is  aan  het  HV-beeld  (768  x  576). 

5  Smoothing  van  de  ROI. 

3.3.5  Lookup-table 

De  LUT  wordt  ingelezen  als  een  beeld  (een  grote  tweedimensionale  array). 

Paren  corresponderende  grijswaarden  in  het  infrarode  en  HV-beeld  (dat  wil  zeggen  de 
grijswaarden  van  corresponderende  pixel  paren  in  beide  beelden)  worden  gebruikt  als 
coordinaatpunten  voor  deze  LUT.  Stel  dat  bijvoorbeeld  het  punt  (50,100)  van  beeld  1 
een  grijswaarde  25  heeft  en  het  punt  (50,100)  van  beeld  2  een  grijswaarde  125  heeft, 
dan  vormt  deze  combinatie  een  nieuw  coordinaatpunt:  (25,125).  Hierbij  is  de 
x-coordinaat  dus  de  grijswaarde  van  beeld  I  en  is  de  y-coordinaat  de  grijswaarde  van 
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beeld  2  Het  matrixelement  (pixel)  met  coordinaten  (25,1 25)  in  de  LUT  representeert 
dan  de  RGB  (Red,  Green,  Blue)  waarden  die  horen  bij  de  grijswaarde  combinatie 
(25,1 25).  Stel  dat  de  LUT  op  punt  (25,125)  de  waardes  (33,66,99)  heeft.  Dan  krijgt  het 
nieuw  op  te  bouwen  beeld  op  positie  (50,100)  de  kleurenwaarde  (33,66,99). 

Dit  opzoeken  van  kleurwaardes  wordt  voor  alle  768  x  576  beeldpunten  gedaan. 

Zo  ontstaat  er  dan  een  nieuw  ‘false  colour’  beeld  op  basis  van  de  twee  input  grijswaarde 
plaatjes  en  de  LUT.  Voor  een  uitgebreide  uitleg  van  deze  procedure  wordt  verwezen 
naar  de  patentaanvraag  (Hogervorst  et  al.,  2006). 

Het  bepalen  van  de  kleuren  in  de  LUT  en  het  gebruik  van  de  juiste  LUT  onder  bepaalde 
omstandigheden  is  dus  essentieel  voor  de  juiste  weergave  van  het  resultaatbeeld 
Voor  verschillende  omgevingen  kunnen  verschillende  LUT’s  worden  afgeleid.  Zo  zal 
de  correcte  (dat  wil  zeggen:  zo  natuurhjk  mogelijke)  weergave  van  een  bosnjke 
omgeving  een  andere  LUT  vereisen  dan  de  weergave  van  een  heidelandschap,  een 
woestijn,  of  een  stedelijke  omgeving. 

De  huidige  LUT’s  zijn  256  x  256  groot  (met  8  bit  waarden),  en  3  lagen  diep  (R,G,B) 

Voor  de  implementatie  van  bovenstaande  operaties  is  OpenCV  gebruikt.  met  Visual 
C++  code  voor  de  implementatie 

3.3.6  Weergave 

Met  behulp  van  OpenCV  wordt  het  ATHENA  beeld  in  een  apart  window'  getoond 
Dit  window  kan  desgewenst  op  een  tweede  (computer-)  monitor  w'orden  weergegeven 
(zie  figuur  11). 


Figuur  1 1  De  ‘result  image’  window  toont  de  via  een  kleuren  lookup  tabel  weergegeven  combinatie  van 
de  twee  grijswaarde  camerasignalen  plaatjes.  De  scene  is  de  optisehe  gang  bij  TNO  in  Den 
Haag,  een  donkere  zwarte  gang  voor  opiische  experimented  Bij  deze  opname  was  er  weinig 
lieht,  waardoor  de  HV  ook  goed  kon  worden  gebruikt 
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4  De  meerwaarde  van  het  ATHENA-concept 

Bij  het  maken  van  opnamen  in  het  veld  is  onder  een  aantal  verschillende  condities  reeds 
gebleken  dat  het  ATHENA  concept  in  praktijk  een  meerwaarde  kan  hehben.  In  deze 
sectie  wordt  een  overzicht  gegeven  van  enkele  situaties  waarin  de  meerwaarde  van  het 
systeem  zonder  meer  duidelijk  was. 

4.1  Terreinwaarneming 

Artificiele  objecten  in  een  terrein  (bijvoorbeeld  de  paaltjes  in  figuur  A. 7b  ,  de  bunker  en 
de  muur  in  figuur  A. 7c,  de  bankjes  in  figuur  A.7f)  zijn  vaak  goed  zichtbaar  in  het 
warmtebeeld  terwijl  ze  in  het  corresponderende  HV  beeld  slecht  (of  zelfs  in  het  geheel 
niet)  zijn  te  zien.  Daarentegen  zijn  natuurlijke  terreindetails  zoals  vegetatie 
(bijvoorbeeld  de  bomen  en  struiken  in  figuur  A.7a,c,e)  vaak  beter  zichtbaar  in  het  HV 
beeld.  De  combinatie  van  WB  en  HV  volgens  het  ATHENA  concept  (bijvoorbeeld 
figuur  A.  10  -  figuur  A.  12)  levert  in  dat  geval  een  beeld  waarin  alle  details  zichtbaar 
zijn.  Dit  kan  voor  navigatie  en  surveillance  van  belang  zijn.  Daardoor  wordt  het 
namelijk  eenvoudiger  om  de  structuur  van  de  scene  te  begrijpen,  hetgeen  een 
voorwaarde  is  voor  situationeel  bewustzijn  (weten  hoe  het  terrein  eruit  ziet  en  welke 
plekken  begaanbaar  zijn). 

4.2  Detectie  en  lokalisatie  van  personen 

Personen  zijn  bij  duisternis  in  een  HV  beeld  vaak  slecht  zichtbaar,  zeker  als  ze  gehuld 
zijn  in  gevechtskleding  met  camouflagepatronen  (zie  bijvoorbeeld  figuur  A  S  en 
figuur  A. 9).  In  het  warmtebeeld  worden  ze  daarentegen  met  een  hoog  contrast  afgebeeld 
omdat  ze  warmer  zijn  dan  hun  directe  omgeving.  In  de  combinatie  van  WB  en  HV 
volgens  het  ATHENA  concept  (bijvoorbeeld  figuur  A.  13  en  figuur  A.  14)  zijn  personen 
daardoor  meestal  goed  zichtbaar  in  de  context  van  hun  directe  omgeving,  hetgeen  van 
belang  kan  zijn  voor  bewakingstaken.  Bovendien  is  het  door  een  slimme  keuze  van  de 
gebruikte  kleurweergavetabel  mogelijk  onderscheid  te  maken  tussen  personen  die  gekleed 
zijn  in  normale  lichtgekleurde  kleding  en  in  camouflerende  kleding  (zie  figuur  A.  13). 

4.3  YVaarneming  in  schaduwpartijen 

Personen  die  zich  in  de  schaduw  bevinden  zijn  in  een  HV  beeld  vaak  slecht  of  in  het 
geheel  niet  zichtbaar  (zie  bijvoorbeeld  figuurA.25a,  c,  i).  In  het  corresponderende 
warmtebeeld  zijn  ze  daarentegen  doorgaans  wel  goed  zichtbaar  (zie  bijvoorbeeldfiguur 
A. 25b,  d,  j).  In  de  combinatie  van  WB  en  HV  volgens  het  ATHENA  concept 
(bijvoorbeeld  figuur  A. 28,  figuur  A. 31  -  figuur  A. 33)  kunnen  zowel  de  personen  als 
ook  hun  directe  omgeving  duidelijk  zichtbaar  worden  weergegeven 

4.4  YVaarneming  bij  rook 

Rook  in  een  scene  kan  het  contrast  van  een  HV  beeld  sterk  verminderen,  en  kan  grote 
delen  van  de  scene  aan  het  gezicht  onttrekken  (zie  bijvoorbeeld  figuur  A.25e  en  g). 

Bij  een  geschikte  keuze  van  de  kleurentabel  die  wordt  gebruikt  voor  de  combinatie  van 
WB  en  HV  volgens  het  ATHENA  concept  (bijvoorbeeld  figuur  A. 29  en  figuur  A. 30) 
is  het  echter  mogelijk  om  de  impressie  van  de  rook  te  behouden  en  tegelijk  alle  details 
achter  de  rookwolk  goed  zichtbaar  af  te  beelden.  Zo  is  bijvoorbeeld  in  figuur  A. 29  en 
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figuur  A. 30  de  man  achter  de  rookwolk  goed  zichtbaar,  waardoor  zijn  positie  in  de 
scene  goed  bekend  is.  In  de  oorspronkelijke  HV  beelden  is  de  man  in  het  geheel  niet 
zichtbaar,  terwijl  in  de  corresponderende  warmtebeelden  de  rook  niet  wordt  afgebeeld. 
Door  de  representatie  volgense  het  ATHENA  concept  ziet  de  waarnemer  precies  waar 
de  man  zich  ten  opzichte  van  de  rookwolk  bevindt.  Dit  beeld  levert  dus  meer  informatie 
dan  de  som  van  de  afzonderhjke  beelden,  en  verhoogt  het  situationeel  bewustzijn 

4.5  Doorbreken  van  camouflagemaatregelen 

Camouflagemaatregelen  zoals  kleding  en  netten  kunnen  personen  (figuur  A. 38a  en 
figuur  A.39a,c)  en  voertuigen  (figuur  A.42,  figuur  A. 44  en  figuur  A.45)  visueel  aan  het 
gezicht  onttrekken  of  hun  opvallendheid  sterk  verminderen.  Sommige  van  die 
maatregelen  zijn  tegenwoordig  ook  zo  ontworpen  dat  ze  ook  geacht  worden  in  het 
thermische  deel  van  het  spectrum  een  verhullende  werking  te  hebben  (figuur  A. 38b, 
figuur  A. 44  en  figuur  A.45).  In  de  praktijk  blijkt  het  echter  vaak  erg  moeilijk  om  het 
thermisch  profiel  van  een  persoon  of  voertuig  zodanig  te  reduceren  dat  hij  in  een 
warmtebeeld  niet  langer  detecteerbaar  of  herkenbaar  is.  In  de  combinatie  van  WB  en 
HV  volgens  het  ATHENA  concept  (bijvoorbeeld  figuur  A. 49  -  figuur  A, 55)  kunnen 
zowel  de  personen  en  voertuigen  als  ook  hun  directe  omgeving  duidelijk  zichtbaar 
worden  weergegeven. 
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5  Conclusies  en  aanbevelingen 


5.1  Meerwaarde 

In  condities  met  schaduwen,  rook  en  camouflage  maatregelen  is  duidelijk  gebleken  dat 
het  ATHENA  concept  in  praktijk  een  meerwaarde  heeft.  Zo  zijn  bijvoorbeeld  personen 
die  in  dergelijke  omstandigheden  visueel  aan  het  zicht  worden  onttrokken  thermisch 
wel  detecteerbaar.  Het  ATHENA  systeem  beeld  zowel  de  personen  als  de  details  in  hun 
directe  omgeving  af,  met  een  kleurcontrast  dat  wordt  bepaald  door  de  gekozen 
kleurweergavetabel.  De  gebruiker  krijgt  dus  meer  inzicht  in  de  samenstelling  van  de 
sc&ne,  en  kan  dus  een  beter  beeld  opbouwen  van  de  waargenomen  omgeving 
(vergroting  van  het  situationeel  bewustzijn). 

Dit  geldt  ook  voor  de  inspectie  van  terreinen  waarin  natuurlijke  en  artificiele  details 
naast  elkaar  voorkomen.  Natuurlijke  terreinelementen  worden  vaak  duidelijker 
weergegeven  in  het  HV  beeld  dan  in  het  warmtebeeld.  Daarentcgen  zijn  artificiele 
objecten  vaak  beter  zichtbaar  in  het  warmtebeeld.  In  zo’n  geval  geeft  een  gecombineerd 
beeld  dat  is  opgebouwd  volgens  het  ATHENA  concept  een  vollediger  representatie  dan 
elk  der  afzonderhjke  beelden,  hetgeen  wederom  van  belang  is  voor  het  opbouwen  van 
een  mentaal  beeld  van  de  waargenomen  scene  (situationeel  bewustzijn). 

5.2  Marktverwachting 

Door  het  beschikbaar  komen  van  steeds  meer  verschillende  multiband  sensorsystenen 
(systemen  die  meerdere  spectrale  banden  kunnen  afbeelden),  in  combinatie  met  de 
steeds  verder  gaande  digitalisering  en  miniatunsering,  de  toenemende  rekenkracht  van 
processor  chips,  en  de  verder  gaande  pnjsdaling  van  dergelijke  systemen,  is  de 
martktverwachting  voor  het  ATHENA  concept  gunstig. 

5.3  Mogelijke  verbeteringen 

Er  zijn  verschillende  mogelijkheden  om  de  huidige  versie  van  het  ATHENA  systeem. 
zoals  die  in  dit  rapport  is  beschreven,  te  verbeteren. 

Een  voor  de  hand  liggende  verbetering  is  de  toepassing  van  camera’s  met  een  hogere 
resolutie  waardoor  details  beter  herkenbaar  afgebeeld  kunnen  worden. 

Om  het  systeem  geschikt  te  maken  voor  gebruik  onder  dynamische  omstandigheden 
(waarnemen  vanuit  snel  bewegende  platformen,  of  observatie  van  dynamische  scenes) 
zal  het  systeem  compacter  uitgevoerd  moeten  worden,  en  moeten  de  opnamemomenten 
van  de  beelden  van  beide  camera’s  exact  samenvallen  (synchronisatie). 

Door  synchronisatie  kunnen  bewegingsartefacten  worden  gereduceerd. 

Omdat  de  optische  assen  van  de  HV  en  de  WB  camera’s  niet  samenvallen  is  er  een 
parallax  tussen  de  beide  beelden.  De  correctie  die  daarvoor  moet  worden  uitgevoerd  is 
afhankelijk  van  de  opnameafstand.  Als  de  opnameafstand  verandert  moet  er  dus  een 
andere  correctie  worden  toegepast.  De  correcties  kunnen  bepaald  worden  door  een 
eenmalige  ijkprocedure  te  volgen  Momenteel  gebeurt  dit  handmatig  door  de  operator  in 
de  beelden  van  beide  camera’s  overeenkomstige  details  te  laten  aanwijzen 
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Deze  procedure  kan  in  principe  worden  vervangen  door  een  automatische  routine  die  de 
beide  beelden  aan  elkaar  aanpast  op  basis  van  de  beeldinhoud. 

De  ijkprocedure  en/of  selectie  van  de  gewenste  parallax-correctie  vereist  momenteel 
dus  nogal  wat  handelingen  door  de  systeemoperator.  Door  gebruik  te  maken  van  een 
spiegelsysteem  (bijvoorbeeld  een  hot  mirror  die  thermische  straling  reflecteert  en 
zichtbaar  licht  doorlaat)  is  het  mogelijk  om  de  optische  assen  van  de  beide  camera’s  te 
laten  samenvallen,  waardoor  de  parallax-correctie  kan  komen  te  vervallen.  Een  andere 
optie  is  om  het  systeem  uit  te  rusten  met  een  laserafstandsmeter,  of  gebruik  te  maken 
van  een  uitlezing  van  de  focussering  van  een  van  beide  camera’s.  Wanneer  op  een  van 
deze  beide  manieren  de  afstand  tot  de  relevante  details  in  een  scene  is  bepaald  kan  de 
correctie  automatisch  worden  uitgevoerd,  mits  er  een  set  voorgedefinieerde  (uit  eerdere 
ijkingen  bepaalde)  correcties  bekend  is.  Een  dergelijke  verbetering  zal  het  systeem 
flexibeler  maken  in  gebruik. 

Door  meer  informatie  uit  het  WB  te  gebruiken  (bijvoorbeeldteksturen)  zou  het  in  principe 
mogelijk  moeten  zijn  om  betere  inkleuring  van  het  ATHENA  beeld  te  verkrijgen. 

Het  is  mogelijk  om  een  meer  natuurlijke  kleurenweergave  van  een  scene  te  krijgen  door 
het  HV  signaal  op  te  splitsen  in  twee  spectrale  banden:  namelijk  het  visuele  deel  tot 
700  nm  en  het  nabij  infrarode  deel  (NIR)  boven  de  700  nm.  De  reden  dat  dit  principe 
goed  werkt  is  het  feit  dat  het  nabij  infrarode  deel  van  het  spectrum  grenst  aan  het  visuele 
deel,  waardoor  er  een  correlatie  bestaat  tussen  de  pixelwaarden  in  een  nabij  infrarood 
beeld  en  de  werkelijke  kleuren  van  objecten.  Deze  correlatie  neemt  af  naarmate  een  beeld 
is  opgenomen  met  een  sensor  die  gevoelig  is  in  een  spectrale  band  die  verder  van  het 
visuele  deel  van  het  spectrum  afligt.  Het  WB  kan  aan  een  ingekleurd  HV  beeld  worden 
toegevoegd  voor  detectiedoeleinden. 

Momenteel  heeft  de  gebruiker  de  keuze  uit  een  aantal  voorgedefinieerde  kleuren 
weergavetabellen  (LUT’s).  Het  is  ook  denkbaar  het  ATHENA  systeem  de  LUT 
automatisch  te  laten  aanmaken.  Dit  kan  bijvoorbeeld  door  gebruik  te  maken  van  het  HV 
deel  van  het  ATHENA  systeem,  en  achtereenvolgens  de  te  inspecteren  scene  af  te  beelden 
door  een  rood,  groen  en  blauw  filter.  Omeen  kwalitatief  goed  beeld  te  krijgen  is  dan  wel 
een  lange  integratietijd  vereist.  Uit  de  combinatie  van  het  aldus  verkregen  RGB  beeld  en 
de  (automatisch  goed  passende)  HV  en  WB  beelden  kan  dan  eenvoudig  een  kleuren- 
weergavetabel  worden  afgeleid  die  perfect  aansluit  bij  de  te  observeren  scene.  Een  andere 
mogelijkheid  is  om  gebruik  te  maken  van  een  nieuwe  ontwikkeling  ,  namelijk  het 
beschikbaar  komen  van  kleuren  EMCCD  (Electron  Multiplying  CCD)  camera’s 
(Coates,  2006;  Jerram  et  al.,  2007),  die  ook  bij  lage  lichtniveaus  nog  een  kleurenbeeld 
kunnen  produceren  (Heim  et  al.,  2006).  Hoewel  de  gevoeligheid  van  dergelijke  systemen 
enkele  ordes  van  grootte  minder  is  dan  die  van  helderheidsversterkers  of  ICCD’s 
(Intensified  CCD’s;  zie  bijvoorbeeldDussault  &  Hoess,  2000),  biedt  het  feit  dat  ze  kleur 
kunnen  weergeven  een  mogelijkheid  om  ze  in  een  ATHENA  concept  te  integreren. 

Zo  zou  een  EMCCD  bijvoorbeeld  kunnen  dienen  om  ter  plekke  de  juiste  kleurentabel  af 
te  leiden  voor  een  willekeurige  scdne,  door  deze  bijvoorbeeld  gedurende  korte  tijd  op  te 
nemen  en  de  beelden  te  integreren  om  zo  eventueel  de  ruis  te  reduceren.  Als  er  een 
EMCCD  camera  aan  het  ATHENA  systeem  wordt  toegevoegd  is  er  echter  wel  weer  een 
extra  uitlijningsprocedure  nodig. 

Er  zijn  momenteel  aparte  programma’s  voor  de  real  time  demonstrate  van  het  ATHENA 
concept  en  voor  het  acquireren  van  beeldmateriaal.  De  beide  programma’s  kunnen 
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eenvoudig  in  een  enkel  programma  worden  samengevoegd,  Hierdoor  krijgt  de  gebruiker 
de  mogelijkheid  om  interessante  gebeurtenissen  die  optreden  tijdens  een  inspectie 
meteen  op  harde  schijf  vast  te  leggen. 

Er  zijn  enkele  mogelijkheden  om  de  verwerkingssnelheid  van  het  systeem  te  verhogen 
door  het  optimaliseren  van  de  software.  De  bestaande  ATHENA  code  kan  gesplitst 
worden  in  threads  (processen  die  simultaan  worden  uitgevoerd),  bijvoorbeeld  een 
grabthread,  een  processing  thread,  een  display  thread  en  eventueel  een  save  thread. 

De  bestaande  code  is  wel  geschreven  met  dit  idee,  maar  de  daadwerkelijke  implementatie 
moet  nog  plaatsvinden.  Het  is  echter  moeilijk  aan  te  geven  wat  de  snelheidswinst  zal 
zijn  die  met  een  dergelijke  implementatie  kan  worden  behaald  Het  is  ook  mogelijk  de 
code  over  te  zetten  naar  een  grafische  kaart  Momenteel  wordt  OpenCV  gebruikt, 
hetgeen  is  geoptimaliseerd  vooreen  Intel  processor. 

Er  dient  te  worden  onderzocht  of  het  mogelijk  is  om  de  kleurweergave  onafhankelijk 
van  de  gain  te  maken.  Bij  de  huidige  implementatie  verandert  de  kleurstelling  van  het 
ATHENA  beeld  als  je  de  gain  van  een  van  beide  camera’s  verandert,  omdat  de  ratio 
HVAVB  dan  verandert. 

Momenteel  dient  de  gebruiker  zelf  een  bepaalde  kleurenweergavetabel  te  kiezen  voor  een 
bepaalde  taak  en  een  gegeven  omgeving.  Door  gebruik  te  maken  van  een  sensor 
management  procedure  in  combinatie  met  een  GPS  systeem  is  het  mogelijk  om  het 
systeem  zelf  de  optimale  setting  kiezen  voor  een  bepaalde  taakprestatie  in  een  bepaalde 
omgeving. 

5.4  Waarnemingsexperimenten 

Er  werd  in  het  kader  van  het  ATHENA  project  een  grote  hoeveelheid  gevarieerd 
beeldmateriaal  verzameld  dat  bij  uitstek  geschikt  is  voor  waarnemingsexperimenten 
(zie  Bijlage  A. 3).  Er  was  echter  binnen  het  bestek  van  dit  project  niet  voldoende  tijd  om 
de  meerwaarde  van  het  ATHENA  concept  aan  de  hand  van  dergelijke  proeven  te 
kwantificeren.  In  het  kader  van  het  programma  ‘Opereren  bij  Nachf  bestaat  de 
gelegenheid  om  alsnog  waarnemingsexperimenten  te  doen  met  dit  materiaal. 

Ondanks  het  feit  dat  er  geen  waarnemingsexperimenten  gedaan  zijn  is  het  echter  in  een 
aantal  condities  wel  mogelijk  vast  te  stellen  dat  het  ATHENA  concept  een  duidelijke 
meerwaarde  heeft.  Zo  biedt  (nog  afgezien  van  de  kleurweergave)  de  combinatie  van  het 
HV  en  WB  beeld  in  een  enkel  beeld  een  duidelijk  ergonomisch  voordeel:  men  hoeft 
immers  geen  twee  afzonderlijke  beelden  te  inspecteren  en  aan  elkaar  te  relateren  Dit  is 
bijvoorbeeld  van  belang  in  situaties  als  getoond  in  figuur  A.8  en  figuur  A. 9.  Hienn  is  de 
persoon  alleen  te  zien  in  het  thermische  beeld,  en  de  achtergrond  is  alleen  zichtbaar  in 
het  H  V  beeld.  Door  beide  beelden  te  combineren  in  een  enkel  beeld  wordt  het  in  een 
oogopslag  duidelijk  waar  de  persoon  zich  in  de  scene  bevindt  (namelijk  naast  het  bankje). 
Figuur  A.25e  -  h  toont  een  vergelijkbare  situatie.  In  het  HV  beeld  (figuur  A.25e  en  g) 
wordt  de  soldaat  door  een  rookwolk  aan  het  zicht  onttrokken.  De  rookwolk  zelf  is  wel 
goed  zichtbaar.  In  de  corresponderende  warmtebeelden  (figuur  A.25f  en  h)  is  de  soldaat 
wel  goed  zichtbaar,  terwijl  de  rookwolk  juist  niet  wordt  afgebeeld.  De  combinatie  van  de 
beide  beelden  geeft  een  beeld  met  een  groter  informatieinhoud:  men  ziet  in  een  oogopslag 
dat  er  een  rookwolk  hangt  w  aarachter  zich  een  soldaat  bevindt.  Figuur  A.  25a  -  d  en  i,  j 
laten  situaties  zien  waarin  personen  door  schaduw  aan  het  zicht  wordt  onttrokken  in  het 
HV  beeld,  maar  wel  zichtbaar  is  in  het  warmtebeeld.  In  figuur  A. 25a  is  de  persoon  in  de 
deuropening  niet  zichtbaar,  in  figuur  A. 25c  zijn  de  twee  personen  op  de  voorgrond  niet 
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zichtbaar,  en  in  figuur  A.25i  is  de  persoon  in  de  loopgraaf  niet  zichtbaar,  telkens  omdat 
ze  zich  in  schaduwen  bevinden.  In  de  corresponderende  warmtebeelden  zijn  de  personen 
in  alle  gevallen  wel  goed  zichtbaar.  Vaak  is  de  detaillering  van  de  voorgrond  echter 
beter  zichtbaar  in  het  HV  beeld.  Wederom  geeft  de  combinatie  van  HV  en  WB  dan 
meer  informatie  dan  elk  der  afzonderlijke  beelden 
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A  ATHENA  Beeldmateriaal 


In  een  aantal  veldexpenmenten  op  verschillende  locaties  werd  een  grote  verseheidenheid 
aan  beeldmateriaal  verzameld  met  het  ATHENA  systeem.  In  een  eerdere  fase  van  het 
ATHENA  project  werden  aan  de  hand  van  scenariostudies  een  aantal  belangrijke 
dynamische  en  statische  militaire  taken  geidentificeerd  die  ook  onder  omstandigheden 
met  verminderd  zicht  uitgevoerd  moeten  kunnen  worden,  en  waarbij  de  meerwaarde 
van  ATHENA  mogelijk  kan  worden  aangetoond  (L^nsen  et  al.,  2007).  Het  huidige 
prototype  van  ATHENA  bestaat  uit  een  Lion  Advance  warmtebeeld  camera  met  daaraan 
bevestigd  een  digitale  HV  camera,  die  beide  zijn  verbonden  met  exteme  voedingsbronnen 
en  met  een  PC  voorzien  van  een  framegrabber  om  de  beelden  te  kunnen  registreren. 

Het  camerasysteem  wordt  op  een  zwaar  statief  gemonteerd,  en  het  gehele  systeem  moet 
worden  gevoed  met  220V  netspanning.  Het  is  daarom  praktisch  niet  mogelijk  om  met 
dit  systeem  dynamische  taken  (bijvoorbeeldverkenning  vanuit  een  rijdend  voertuig) 
volledig  uit  te  kunnen  voeren.  Binnen  de  eerder  opgestelde  scenario’s  (Lensen  et  al., 
2007)  onderscheiden  we  echter  enkele  activiteiten  die  zich  (met  enige  aanpassingen) 
wel  goed  lenen  voor  het  creeren  van  een  veldbeproeving  van  ATHENA,  te  weten: 

•  Orienteren:  het  bepalen  waar  men  zich  bevindt. 

•  Navigeren:  het  doelgericht  kunnen  bewegen  /  verplaatsen. 

•  Doelen  opsporen: 

-  Detecteren:  het  onderkennen  van  een  doel  dat  relevant  is  voor  de  opdracht. 

-  Herkennen*  het  indelen  van  een  doel  naar  categorie 
(bijvoorbeeld:  het  is  een  tank,  een  boerenkar,  een  ziekenauto). 

-  Identificeren:  het  vaststellen  van  een  type  binnen  een  categorie 
(bijvoorbeeld:  de  persoon  is  een  man/vrouw,  soldaat/burger). 

In  het  volgende  deel  beschrijven  we  de  scenario's  (bijlage  A.  1 )  en  de  locaties 
(bijlage  A. 2)  behorende  bij  de  veldexperimenten  die  werden  uitgevoerd,  alsmede  het 
beeldmateriaal  (bijlage  A. 3)  dat  daarbij  werd  verzameld.  Er  werd  gekozen  voor 
grondgebonden  observatie-  en  doelopsporingstaken  als  goed  geconditioneerde 
testsituaties,  zodat  latere  evaluaties  (bijvoorbeeld  door  middel  van  proefpersoon- 
experimenten)  kwantificeerbare  resultaten  kunnen  opleveren,  waarmee  mogelijk  de 
meerwaarde  van  het  ATHENA  systeem  onder  reele  operationele  omstandigheden 
kwantitatief  kan  worden  aangetoond. 

A.l  Scenario’s 

A.  1.1  Scenario  I:  Doelopsporing 

De  individuele  beelden  van  de  HV  en  WB  camera’s,  en  het  geintegreerde  beeld  van  het 
ATHENA  systeem,  kunnen  alle  drie  worden  gebruikt  om  doelen  op  te  sporen. 

Met  opgenomen  beeldmateriaal  kunnen  we  in  het  lab  het  vermogen  van  waarnemers  om 
doelen  te  detecteren  als  volgt  bepalen  We  hebben  met  elk  der  camerasystemen  een 
aantal  foto’s  gemaakt  scenes  waarin  zich  een  persoon  op  verschillende  plaatsen  kan 
bevinden.  In  een  lab  test  laten  we  proefpersonen  vervolgens  onder  gecontroleerde 
condities  in  de  opgenomen  beelden  zoeken  naar  de  doelpersoon  in  de  foto’s. 
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Scenario  la:  Doelopsporing  in  stedelijke  omgeving 
Kleding 

De  visuele  detecteerbaarheid  (zichtbaarheid)  van  een  persoon  in  een  scene  kan 
eenvoudig  worden  gevarieerd  door  gebruik  te  maken  van  verschillende  typen  kleding 
(camouflagepak,  gewoon  T-shirt  et  cetera),  en  door  de  persoon  op  verschillende 
plekken  te  zetten,  zodat  hij  soms  wel  en  soms  niet  in  de  sehaduw  staat.  Thermisch  blijft 
de  detecteerbaarheid  van  de  persoon  ongeveer  gelijk,  mits  de  thermische  eigenschappen 
van  de  kleding  met  al  te  sterk  varieren,  en  zolang  hij  niet  door  obstakels  aan  het  oog 
wordt  onttrokken  (bomen,  struiken,  ramen  et  cetera). 

De  thermische  detecteerbaarheid  van  de  doelpersoon  kan  worden  gevarieerd  door 
gebruik  te  maken  van  isolerende  kleding,  of  door  hem  nat  te  maken.  In  dit  geval  kan  de 
visuele  detecteerbaarheid  van  de  persoon  ongeveer  gelijk  blijven,  mits  de  gebruikte 
kleding  ongeveer  dezelfde  reflectie-deeigenschappen  heeft. 

Schaduwen 

De  visuele  detecteerbaarheid  van  de  doelpersoon  kan  ook  worden  gevarieerd  door  de 
persoon  op  verschillende  plekken  in  de  scene  te  zetten  zodat  hij  soms  meer  en  soms 
minder  belicht  wordt  (figuur  a.l). 

Een  persoon  die  in  de  sehaduw  staat  (bijvoorbeeld  achter  in  een  kamer  of  in  een  gang, 
of  onder  bomen)  kan  visueel  (met  het  blote  oog  of  met  HV)  soms  moeilijk  of  in  het  geheel 
niet  gedetecteerd  worden.  Zolang  er  zich  geen  objecten  tussen  de  waarnemer  en  de 
doelpersoon  bevinden  blijft  de  thermische  detecteerbaarheid  van  de  doelpersoon  wel 
gelijk. 

Een  persoon  die  in  de  buurt  van  een  lantaarnpaal  staat,  maar  daardoor  met  direct 
verlicht  wordt,  is  met  een  HV  kijker  moeilijk  of  geheel  niet  detecteerbaar.  In  een 
thermisch  beeld  kan  de  persoon  echter  goed  zichtbaar  zijn. 

Rook 

De  visuele  detecteerbaarheid  van  een  doelpersoon  kan  ook  worden  verminderd  door 
gebruik  te  maken  van  een  rookgordijn  (rookgranaten  of  tonnen  met  brandende  olie). 
Mits  de  rook  niet  al  te  dicht  is  (of  veel  hete  deeltjes  bevat,  of  van  een  speciale 
samenstelling  is),  kan  men  met  een  warmtebeeld  de  persoon  achter  het  rookgordijn 
blijven  waarnemen. 

Glas 

Glas  (ramen)  kunnen  worden  gebruikt  om  een  persoon  thermisch  niet  detecteerbaar  te 
maken  terwijl  hij  visueel  wel  kan  worden  waargenomen  (als  tenminste  de  ramen  de 
omgeving  niet  teveel  reflecteren). 

Clutter 

Thermische  clutter  kan  worden  geproduceerd  door  veel  warme  objecten  in  de  scene  aan 
te  brengen,  die  de  vorm  en  afmeting  van  het  doelobject  moeten  hebben.  Dit  kan 
bijvoorbeeld  worden  bereikt  door  met  warm  water  gevulde  objecten  (jerrycans,  tonnen, 
zakken  et  cetera)  in  de  scene  te  plaatsen  Ook  kan  men  delen  van  de  scene  opwarmen 
door  het  uitstrooien  van  heet  water. 
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Visuele  clutter  kan  worden  geproduceerd  door  objecten  in  de  scene  te  zetten  die  de 
vorm  en  afmeting  van  het  doelobject  hebben.  Als  men  naar  een  persoon  zoekt  kan  men 
bijvoorbeeld  een  aantal  etalagepoppen  in  de  scene  plaatsen. 

Scenario  lb:  Doelopsporing  in  landelijke  omgeving 

Schaduwen 

De  visuele  detecteerbaarheid  van  een  doelpersoon  kan  worden  gevaneerd  door  de 
persoon  op  verschillende  plekken  in  de  scene  te  zetten  zodat  hij  soms  meer  en  soms 
minder  belicht  wordt 

Een  persoon  die  in  de  schaduw  staat  van  bomen  in  een  bosrand  kan  visueel  (met  het 
blote  oog  of  met  HV)  soms  moeilijk  of  in  het  geheel  niet  gedetecteerd  worden. 

Zolang  er  zich  geen  objecten  tussen  de  waarnemer  en  de  doelpersoon  bevinden  zal  de 
thermische  detecteerbarheid  van  de  doelpersoon  gehjk  blijven. 

Camouflage 

Camouflage  (bijvoorbeeldcamouflagenetten)  kan  worden  toegepast  om  personen 
visueel  onzichtbaar  te  maken.  Thermisch  kunnen  ze  dan  toch  worden  gedetecteerd. 

Een  thermische  camera  kan  worden  gebruikt  om  onderscheid  te  zien  tussen  dood  en 
levend  materiaal.  Dit  maakt  het  bijvoorbeeld  mogelijk  om  afgerukte  takken  te 
onderscheiden  van  levende  takken,  en  een  etalagepop  te  onderscheiden  van  een  levende 
persoon.  Zo  wordt  het  ook  mogelijk  om  objecten  die  met  takken  en  bladeren  zijn 
gecamoufleerd  als  zodanig  te  herkennen  en  te  onderscheiden  van  een  bosje  of  struik. 


Bijlage  A  |  4/54 


TNO-rapport  |  TNO-DV  2007  A329 


Figuur  A.l  Voorbeeld  van  afname  van  visuele  waameembaarheid  door  schaduwen.  Daglicht  (a-c)  en 

he ldcrhe ids verster kte  (d-f)  beelden  van  een  man  in  een  gang,  op  respectievelijk  0  m  (a,d),  1  m 
(b,e)  en  2  m  (c,f)  afstand  van  de  deuropening. 


A.  1.2  Scenario  II  Orientatie 

De  individuele  beelden  van  de  HV  en  WB  camera’s,  en  het  geintegreerde  beeld  van  het 
ATHENA  systeem,  kunnen  alle  worden  gebruikt  om  te  bepalen  waar  men  zich  in  het 
terrein  bevindt.  De  mate  waarin  waarnemers  met  elk  van  deze  systemen  in  staat  zijn  om 
hun  positie  in  een  bepaalde  omgeving  te  bepalen  kan  als  volgt  worden  getest.  We  maken 
eerst  bij  dag  een  aantal  overzichtsfoto’s  (foto’s  gemaakt  met  een  groothoeklens,  dus  met 
een  grote  field  of  view)  van  een  bepaald  gebied.  Verder  maken  we  een  aantal  foto’s  van 
delen  van  de  scene  (met  een  telelens,  dus  met  een  kleine  field  of  view).  Dezelfde  delen 
van  de  scene  nemen  we  ook  met  een  kleine  field  of  view  op  bij  nacht  met  elk  van  de 
ATHENA  deelsystemen  (HV  en  WB).  In  een  lab  test  kunnen  we  dan  onder 
gecontroleerde  omstandigheden  waarnemers  de  HV,  WB,  en  ATHENA  gefuseerde 
deelopnamen  aanbieden  en  ze  op  de  overzichtsfotos  (daglicht  overviews)  laten 
aanwijzen  met  welk  deel  van  de  scene  de  aangeboden  opname  corresponded!. 

Zo  kunnen  we  testen  hoe  goed  ze  een  bepaald  deel  van  de  scene  kunnen  terugvinden  in 
het  geheel. 
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Scenario  Ila:  Orientatie  in  stedelijke  omgeving 

Bij  dag  kunnen  overzichtsfoto’s  worden  gemaakt  van  het  terrein  met  de  verschillende 
soorten  vegetatie  en  overige  kenmerken.  Bij  nacht  kunnen  met  het  ATHENA  systeem 
opnamen  worden  gemaakt  van  verschillende  delen  van  het  terrein.  In  een  lab  test  krijgt 
een  waarnemer  als  taak  om  op  de  overzichtsfoto’s  aan  te  geven  met  welk  deel  van  de 
scene  de  nachtopnamen  corresponderen. 

Scenario  lib:  Orientatie  in  landelijke  omgeving 

Bij  dag  kunnen  overzichtsfoto’s  worden  gemaakt  van  de  omgeving  met  de  verschillende 
typen  gebouwen  en  andere  kenmerkende  objecten.  Bij  nacht  kunnen  met  het  ATHENA 
systeem  opnamen  worden  gemaakt  van  verschillende  delen  van  de  omgeving.  In  een  lab 
test  krijgt  een  waarnemer  als  taak  om  op  de  overzichtsfoto’s  aan  te  geven  met  welk  deel 
van  de  scene  de  nachtopnamen  corresponderen. 

A.  1.3  Scenario  III:  Navi  gat  ie 

De  individuele  beelden  van  de  HV  en  WB  camera's,  en  het  geintegreerde  beeld  van  het 
ATHENA  systeem,  kunnen  alle  worden  gebruikt  om  een  veilige  route  door  een 
omgeving  te  plannen.  Het  huidige  ATHENA  prototype  kan  echter  niet  in  dynamische 
condities  (lopend  of  rijdend)  kan  worden  gebruikt.  Wei  kunnen  we  het  vermogen  van 
waamemers  om  een  veilige  route  door  de  omgeving  te  plannen  als  volgt  bepalen. 

We  maken  een  aantal  overzichtsfoto’s  met  elk  der  camerasystemen  van  de  omgeving. 

In  elk  van  die  foto’s  markeren  we  een  begin-  en  eindpunt.  Vervolgens  tonen  we  de  foto’s 
aan  waarnemers  en  vragen  hen  om  de  kortste  veilige  route  te  tekenen  van  begin-  naar 
eindpunt.  Zo  kunnen  we  bepalen  hoe  goed  ze  de  obstakels  en  onbegaanbare  stukken 
terrein  kunnen  onderscheiden.  Een  alternatief  voor  deze  aanpak  is  om  achtereenvolgens 
afbeeldingen  van  de  scene  aan  te  bieden  die  na  elkaar  op  verschillende  afstanden  in  het 
terrein  zijn  gemaakt,  en  de  waamemers  bij  elke  aanbieding  te  vragen  om  bijvoorbeeld 
een  links/rechts  keuze  te  maken  voor  de  richting  waarin  zij  bij  voorkeur  hun 
denkbeeldige  tocht  door  het  terrein  zouden  willen  voortzetten. 

Een  andere  belangrijke  toepassing  is  navigatie  onder  omstandigheden  met  slecht  zicht 
(weer,  thermisch  contrast,  licht). 

Scenario  Ilia:  Navigatie  in  stedelijke  omgeving 

Er  kunnen  opnamen  worden  gemaakt  van  een  stadsbeeld  waarin  zich  verschillende 
obstakels  (kraters  in  de  weg,  puinhopen,  greppels,  roadblocks)  bevinden  en  waarin  het 
visueel  zicht  is  verminderd  ten  gevolge  van  de  aanwezigheid  van  rook  (brandende 
autobanden,  smeulende  puinhopen).  Die  beelden  kunnen  in  een  laboratoriumtest 
worden  gebruikt  om  waarnemers  te  laten  aanduiden  welke  route  ze  veilig  door  de 
getoonde  scene  denken  te  kunnen  afleggen. 

Scenario  IHb:  Navigatie  in  landelijke  omgeving 

Er  kunnen  opnamen  worden  gemaakt  van  een  terrein  waarin  zich  verschillende  obstakels 
(water,  greppels,  bosjes,  bomen,  roadblocks)  en  eventueel  gevaarlijke  objecten 
(geschut,  explosieven)  bevinden. 

Als  de  opnamen  worden  gemaakt  onder  omstandigheden  met  verminderd  visueel  zicht 
kan  het  warmtebeeld  het  visuele  beeld  aanvullen. 


Het  visuele  beeld  kan  helpen  om  water  te  kunnen  onderscheiden  van  wegen  en  paadjes. 
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Als  de  opnamen  worden  gemaakt  onder  omstandigheden  met  veel  thermische  clutter 
(opgewarmde  open  zandplekken)  kan  het  visuele  beeld  helpen  om  clutter  van  echte 
objecten  te  onderscheiden.  Er  bestaat  echter  een  kans  dat  men  de  taak  kan  uitvoeren  met 
alleen  het  visuele  beeld. 

A.  1.4  Scenario  IV:  Observatie 

Scenario  IVa:  Observatie  in  stedelijke  omgeving 

Met  situationeel  bewustzijn  bedoelen  we  het  bewustzijn  of  het  mentale  model  dat  een 
waamemer  heeft  van  alles  wat  er  zich  om  hem  heen  bevindt  en  afspeelt.  Een  gangbare 
definitie  van  situationeel  bewustzijn  is  'the  perception  of  the  elements  in  the  environment 
within  a  volume  of  time  and  space,  the  comprehension  of  their  meaning  and  the  projection 
of  their  status  in  the  near  future’  (Endsley,  1988).  Om  situationeel  bewustzijn  te 
verkrijgen  en  op  peil  te  houden  dient  men  zijn  omgeving  voortdurend  te  observeren. 
Endsley  onderscheidt  3  niveaus  van  situationeel  bewustzijn  (Endsley,  1988; 

Endsley,  2000): 

•  Nivo  1  -  Data,  het  waarnemen  van  de  relevante  elementen  in  de  omgeving. 

•  Nivo  2  -  Begrip:  het  begrip  van  de  onderlinge  relatie  van  die  elementen,  en  welke 
betekenis  ze  hebben  in  het  kader  van  de  doelstellingen  van  de  waamemer. 

•  Nivo  3  -  Projectie:  hoe  de  situatie  zich  in  de  nabije  toekomst  zal  ontwikkelen. 

Er  kunnen  in  een  stedelijke  omgeving  dynamische  scenes  worden  opgenomen  waarin 
personen  rondlopen  die 

•  objecten  bij  zich  dragen; 

•  objecten  neerleggen  en  objecten  wegpakken  op  schaduwrijke  plekken  (onder 
struiken,  in  gangen,  onder  afdakjes); 

•  elkaar  objecten  overhandigen. 

Objecten  die  gebruikt  kunnen  worden  zijn  onder  andere: 

•  geweren; 

•  fietspompen; 

•  parapluies; 

•  scheppen; 

•  bijlen 

Wanneer  de  handelingen  in  de  schaduw  of  in  de  directe  omgeving  van  een  lantarenpaal 
plaatsvinden,  zal  het  moeilijk  zijn  om  met  een  HV  beeld  vast  te  stellen  wat  er  precies 
gebeurt.  Het  is  echter  moeilijk  om  met  een  warmtebeeld  objecten  te  detecteren  die 
ongeveer  dezelfde  temperatuur  hebben  als  de  personen  die  ze  dragen. 

Er  kan  ook  voor  worden  gekozen  alleen  statische  scenes  op  te  nemen,  waarin  zich  de 
bovengenoemde  objecten  bevinden.  De  waamemers  kunnen  dan  later  in  het  lab  de 
herkenbaarheid  van  de  verschillende  objecten  in  de  verschillende  beeldmodaliteiten 
beoordelen. 

Scenario  IVb:  Observatie  in  landelijke  omgeving 

Dit  scenario  is  vrijwel  gelijk  aan  de  stedelijke  variant  uit  de  vorige  sectie,  alleen  zullen 
de  handelingen  hier  voornamelijk  in  de  schaduw  van  bomen  plaatsvinden,  en  wordt 
ervan  uitgegaan  dat  er  geen  straatverlichting  aanwezig  is. 
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A.2  Locaties 

A.  2. 1  Waalsdorperxiakte 

Bij  dit  experiment  werd  er  ook  een  additionele  Amber  3-5  pm  thermische  camera  aan 
het  basis  ATHENA  systeem  toegevoegd 

T e  rrei  n  beschrijving 

Het  terrein  aan  de  noord-  en  de  oost-zijde  van  het  TNO  D&V  gebouw  op  de  locatie 
Den  Haag  maakt  deel  uit  van  de  Waalsdorpervlakte.  Vanaf  de  toren  van  het  gebouw 
(aangegeven  door  de  rode  pijl  in  figuur  A.2  en  in  close-up  in  figuur  A.3)  heeft  men  een 
‘helicopter  view’  van  dit  terrein  (figuur  A.4).  Het  deel  aan  de  noord  zijde  (figuur  A. 4a) 
is  licht  glooiend,  en  bestaat  uit  grasland,  enkele  watertjes,  en  wat  groepjes  bomen 
(berken).  Verder  zijn  er  wat  gebouwen  aanwezig  in  dit  deel  van  het  terrein.  Het  deel  aan 
de  oostzijde  (figuur  A. 4b)  bestaat  uit  gras  en  heide  land,  doorkruist  door  enkele 
zandpaden,  enkele  losstaande  bomen,  en  een  dichtere  cluster  bomen  in  de  achtergrond. 

Op  de  achtergrond  zijn  er  straatlantaarns  zichtbaar.  Bij  de  nachtopnamen  werden  de 
lantaarns  op  het  TNO  terrein  uitgeschakeld. 


Figuur  A  2  Luchtfoto  van  het  TNO  D&V  gebouw  op  de  locatie  Den  Haag  en  het  omringende  gebied  dat  kan  worden 
waargenomen  vanuit  de  toren  van  dit  gebouw  (de  locatie  van  de  toren  is  aangegeven  door  de  rode  pijl) 
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Figuur  A 3  De  toren  van  hot  TNO  D&V  gebouw  op  de  locatie  Den  Haag.  Vanaf de  10dc  verdieping  heeft 
men  een  goed  uitzicht  over  de  Waaldorpervlakte. 


(b) 

Figuur  A. 4  Uitzicht  op  de  Waalsdorpervlakte  vanaf  de  10dc  verdieping  van  de  toren  van  het  TNO  D&V 
gebouw  op  de  locatie  Den  Haag,  respectievelijk  naar  het  Noorden  (a)  en  naar  het  Oosten  (b). 
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Scenario’s 


Het  ATHENA  systeem  werd  neergezet  op  het  balkon  van  de  10 J  verdieping  van  de 
toren  van  het  TNO  D&V  gebouw  op  de  locatie  Den  Haag.  Hierdoor  werd  een  soort 
‘helicopter  view’  van  het  omliggende  terrein  verkregen. 


(a)  (b) 

Figure  A. 5  De  ATHENA  opslelling  (a)  en  het  camerasysteem  (b)  op  de  rand  van  de  10*  verdieping  van 
het  TNO  D&V  gebouw  op  de  locatie  Den  Haag. 


Deze  sectie  beschrijft  de  scenario’s  die  corresponderen  met  het  beeldmateriaal  dat  op 
deze  lokatie  werd  opgenomen 

Routeplanning 

Het  afwisselende  karakter  van  het  terrein,  met  de  vele  zandpaadjes,  maakt  dit  terrein 
geschikt  voor  scenario’s  waarin  men  een  route  door  het  terrein  moet  plannen  op  basis 
van  het  waargenomen  beeldmateriaal.  Onder  omstandigheden  waarin  het  Lion  Advance 
warmtebeeld  weinig  of  geen  contrast  vertoond  (wash-out  na  regenval,  of  tijdens  de 
dageli  jkse  temperatuursomslag)  zal  het  plannen  van  een  route  op  basis  van  dit  bee  Id  niet 
goed  mogelijk  zijn,  omdat  de  paden  met  onderscheidbaar  zijn.  Ook  kan  het  voorkomen 
dat  men  paden  en  water  met  elkaar  verwart.  In  deze  condities  kan  het  HV  beeld 
uitkomst  bieden. 

Lokalisatie 

Onder  omstandigheden  met  goed  visueel  zicht  (dus  geen  mist)  represented!  het  HV 
beeld  duidelijk  alle  details  van  het  terrein.  Een  normaal  gekleed  persoon  in  de  sc&ne 
(mits  niet  door  bomen  of  anderszins  aan  het  zicht  onttrokken)  is  dan  steeds  goed 
zichtbaar.  Een  persoon  die  zich  in  een  schaduw  bevindt  of  die  camouflagekleding 
draagt  is  echter  niet  goed  waarneembaar.  In  een  dergelijk  geval  kan  de  combinatie  van 
een  HV  beeld  en  een  warmtebeeld  (waarin  de  persoon  wel  zichtbaar  is)  zoals  ATHENA 
die  biedt  een  belangrijk  hulpmiddel  zijn  om  de  precieze  locatie  (gegeven  door  het  HV 
beeld)  van  de  persoon  te  kunnen  vaststellen. 
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Surveillance 

In  het  parkje  aan  de  noordzijde  bevindt  zich  een  houten  bank.  Btj  duisternis  zijn  de 
schaduwen  direct  naast  en  onder  deze  bank  zodanig  dat  een  HV  camera  objecten  of 
personen  die  zich  in  deze  schaduw  bevinden  fnaast  of  onder  het  bankje)  niet  zichtbaar 
maakt.  Dit  maakt  het  mogelijk  om  een  scenario  op  te  nemen  waarin  er  door  personen 
onder  of  naast  de  bank  objecten  worden  neergelegd  en  verwijderd. 

Objectherkenning 

Op  een  reeks  verschillende  afstanden  (varierend  van  420  -  80  m)  werden  zowel  bij  dag 
als  bij  duisternis  opnamen  gemaakt  van  personen  die  verschillende  objecten  in  hun  hand 
droegen.  De  gebruikte  objecten  waren  respectievelijk  een  plastic  pijp,  een  bijl,  een 
houten  paal,  en  een  houten  hamer  (zie  figuur  A.6). 


Figuur  A.6  I)e  4  objecten  (van  links  naar  rechts:  een  plastic  pijp*  een  bijl,  een  houten  paal,  en  een  houten 
hamer)  die  werden  gebruikt  voor  de  opnamen.  Een  met  heet  water  gevuldc  jerrycan 
(rechtsonder)  fungeerde  als  ijkpunt  voor  de  calibrate  van  het  eamerasysteem. 

Samenvatting 

Het  beeldmateriaal  dat  op  deze  locatie  werd  opgenomen  komt  het  meest  overeen  met  de 
scenario’s  lib,  Illb  en  IVb  uit  Bijlage  A.  1  (respectievelijk  navigatie,  orientatie  en 
observatie  in  landelijk  gebied).  Tevens  is  het  beeldmateriaal  bruikbaar  voor 
waameminsgexperimenten  die  corresponderen  met  lb  (doelopsporing  in  landelijk 
gebied). 
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Beeldmateriaal 

Artificiele  objecten  in  het  terrein  (bijvoorbeeld  de  paaltjes  in  figuur  A. 7b  .  de  bunker  en 
de  muur  in  figuur  A, 7c  ,  de  bankjes  in  figuur  A.7f)  zijn  goed  ziehtbaar  in  het  Lion 
Advance  warmtebeeld  terwijl  ze  in  een  corresponderend  HV  beeld  slecht  zijn  te  zien 
Daarentegen  zijn  natuurlijke  terrein  details  zoals  vegetatie  (bijvoorbeeldde  bomen  en 
struiken  in  figuur  A.7a,c,e)  vaak  beter  ziehtbaar  in  het  HV  beeld  dan  in  het 
corresponderende  warmtebeeld.  De  combinatie  van  WB  en  HV  volgens  het  ATHENA 
concept  (bijvoorbeeld  figuren  A.  10  -  A.  12)  levert  in  dat  geval  een  beeld  waarin  alle 
details  ziehtbaar  zijn. 

Personen  zijn  bij  duisternis  in  het  HV  beeld  slecht  ziehtbaar,  zeker  wanneer  ze  gehuld 
zijn  in  gevechtskleding  (zie  bijvoorbeeld  figuren  A. 8  en  A. 9).  In  het  warmtebeeld 
worden  ze  daarentegen  met  een  hoog  contrast  afgebeeld  omdat  ze  warmer  zijn  dan  hun 
directe  omgeving  In  de  combinatie  van  WB  en  HV  volgens  het  ATHENA  concept 
(bijvoorbeeld  figuren  A  13)  zijn  de  personen  wel  goed  ziehtbaar  zijn  in  de  context  van 
hun  directe  omgeving.  Bij  de  gebruik  van  een  kleurentabel  als  in  figuur  A.  1 3  is  het  niet 
mogelijk  onderscheid  te  maken  tussen  personen  in  lichtgekleurde  kleding  en  mensen  die 
in  camouflerende  kleding  zijn  gehuld.  Zoals  figuur  A.  14  laat  zien  is  het  door  een  slimme 
keuze  van  de  gebruikte  kleurweergave  tabel  wel  mogelijk  dit  onderscheid  te  maken. 
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(e)  (f) 

Figure  A  7  ATHENA  beeldmatenaal  opgenomen  bij  nacht  op  de  Waalsdorpervlakie.  Linker  kolom:  beeld 


van  de  digitale  HV.  Rechter  kolom  warmtebeeld  van  de  Lion  Advance,  (a-b)  lien  sc&ne  met 
hoi,  zandpaden  en  bomen.  (c-d)  Fen  sc£ne  met  een  bunker  en  een  muur  temidden  van  bomen. 
(e-f)  Een  sedne  met  een  meertje,  wat  net,  bankjes,  struiken  en  een  grindpad, 


TNO-rapport  |  TNO-DV  2007  A329 


Bijlage  A|  13/54 


(c)  (d) 

Figuur  A. 8  Nachtopnamen  met  de  digitale  HV  (linkerkolom)  en  de  [Jon  Advance  warmtebeeld  camera 


(rcchterkolom)  van  een  persoon  die  naast  een  bankje  gehurkt  7 it.  Bovenste  rij  de  persoon  draagt 
standaard  gevechtskleding.  Onderste  rij:  de  persoon  draagt  een  wit  T-shirt.  Merk  op  dat  de  kleding 
wel  van  invloed  is  op  de  zichtbaarheid  van  de  persoon  in  het  HV  beeld,  maar  niet  op  zijn  contrast 
in  het  warmtebeeld. 


Figuur  A. 9  Als  figuur  A. 8,  voor  een  persoon  die  voor  een  bosjc  staat. 
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Figuur  A.  10  Linker  kolom:  false  colour  RG  (rxxxi-groen)  representatie  van  de  beclden  uit  respectievelijk  figuur  A.7a  en  b 
Middelste  kolom.  de  kleurentabellen  waarmee  het  false  colour  RG  bee  Id  wordt  omgezet  in  het 
corresponderende  kleurenbeeld  in  de  rechterkolom. 
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l'iguur  A.  1 1  Linker  kotom:  false  colour  RG  (rood-groen)  reprcsentatie  van  tie  beeltlen  uit  respectievelijk  figuur  A  7c  en  d. 
Middelste  kolom:  de  kleurentabellen  waarmee  het  false  colour  RG  beeld  wordt  omgezet  in  bet 
corresponderende  kleurenbeeld  in  de  rechterkolom. 
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Figuur  A.  12  Linker  kolom:  false  colour  RG  (rood-groen)  representatie  van  do  beelden  uit  respectievelijk 
figuur  A.7e  en  f.  Middelste  kolom:  de  kleurentabellen  waarmee  het  false  colour  RG  beeld 
wordt  omgezet  in  het  corresponderende  kleurenbeeld  in  de  rechterkolom. 
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Hguur  A  1 3  Linker  kolom:  de  HV  en  W13  beelden  van  tlguur  A. 8  en  tlguur  A. 9  gecombineerd  in 

respectievelijk  rood  en  groen.  Rechter  kolom:  dezelfde  beelden  weergegeven  via  de  bovenstaande 
kleurentabel.  Merk  op  dat  de  persoon  in  alle  gevallen  in  geeltinten  wordt  weergegeven. 
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Figuur  A.  14  Als  figuur  A.  13,  met  gebruik  van  de  bovenstaande  kleurtabel.  Merk  op  dat  de  persoon  in  geel 
wordt  weergegeven  als  hij  goed  zichtbaar  was  in  het  HV  beeld,  en  in  rood  als  hij  alleen 
zicftitbaar  is  in  het  warmtebeeld 
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A.  2. 2  Oust  dorp 

Bij  dit  experiment  werd  er  ook  een  additionele  Amber  3-5  pm  thermische  camera  aan 
het  basis  ATHENA  systeem  toegevoegd. 

Terreinbeschrijving 

Oostdorp  is  een  militair  oefendorp  dat  is  gelegen  op  het  lnfantene  Schietkamp  de 
Harskamp.  Op  verschillende  plekken  heeft  men  vanaf  grote  afstand  vrij  zicht  op  de 
huizen  van  het  dorp.  Dit  biedt  de  mogelijkheid  om  scenario’s  op  te  nemen  waann 
personen  zich  verdekt  opstellen  in  kamers  of  gangen  van  huizen  Sommige  huizen 
kunnen  vanaf  elke  kant  goed  worden  benaderd,  waardoor  het  mogelijk  is  om  altijd  een 
zijde  te  vinden  waarop  een  persoon  die  tegen  het  huis  aan  staat  zich  in  de  schaduw 
bevindt  (zowel  bij  dag  als  bij  nacht:  figuur  A.  18). 

Er  is  redelijk  wat  vegetatie  op  het  terrein  in  de  vorm  van  hoge  en  vrij  dichte  struiken  en 
hoge  bomen.  Dit  biedt  de  mogelijkheid  om  scenario’s  op  te  nemen  waarin  personen 
zich  verdekt  opstellen  in  de  schaduw  van  een  cluster  bomen  of  tussen  struikgewas. 

Op  het  terrein  is  op  verschillende  punten  220V  spanning  aanwezig  (in  de  gebouwen). 
De  meeste  huizen  hebben  stalen  luiken  voor  de  ramen.  Er  zit  geen  glas  in  de  ramen. 
Hierdoor  is  het  niet  mogelijk  om  de  afschermende  werking  van  glas  voor  thermische 
straling  te  demonstreren. 


Blauw  gebied  1 
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Figuur  A.  15  Plattegrond  van  het  militair  oefendorp  Oostdorp  op  het  Infanterie  Schietkamp  de  Harskamp. 
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Figuur  A.  16  Infanterie  Schietkamp  de  Harskamp  op  de  Veluwe. 


Bijlage  A  |  22/54 


TNO-rapport  |  TNO-DV  2007  A329 


(a) 


Figuur  A.  18  Verschillende  typen  gebouwen. 


(a) 


(b) 


Figuur  A  1 9  Fen  huis  met  twee  verdiepingen  en  open  ramen. 
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Scenario  *s 

Het  ATHENA  systeem  werd  neergezet  op  een  lokatie  (observatiepost)  die  vanaf  grote 
afstand  vrij  zicht  bood  op  een  gevaneerde  scene  waarin  verschillende  huizen,  vegetatie, 
straatlantaarns  en  wegen  zijn  te  zien  (zie  figuur  A. 20  -  figuur  A.21). 


1  iguur  A.21  Verschillende  uitzichten  vanaf  de  opname  lokatie.  (a)  lien  huis  waar  personen  met  een  deur  en 
een  gang  loodrecht  op  de  kijkrichting.  (b)  Huizen  achter  bos.  (c)  lien  loopgraaf  mei  huizen  op 
de  achtergrond.  (d)  Enkele  dicht  opeen  staande  huizen. 
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Figuur  A. 22  (a)  Persoon  die  in  de  deuropening  staat.  (b)  Persoon  die  lets  dieper  in  de  gang  staat. 


Figuur  A. 23  Persoon  in  verschillende  typen  camouflage  en  beschermende  kleding  (linkerkolom)  op 
verschillende  lokaties  in  de  scdne  (rechterkolom). 
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(c)  (d) 

Figuur  A.24  Het  gchruik  van  rookgranaten  om  personen  aan  het  zicht  te  onitrckkcn 

Bij  dag  en  bij  duisternis  werden  met  het  ATHENA  systeem  opnamen  gemaakt  van 
personen  op  verschillende  lokaties  in  de  scene.  De  visuele  opvallendheid  van  de 
personen  werd  gevarieerd  door  verschillende  achtergronden  te  selecteren. 

Er  werden  ook  opnamen  gemaakt  van  personen  die  zich  in  de  schaduw  bevonden.  Zo  is 
een  persoon  die  in  de  schaduw  tussen  gebouwen  staat  (bijvoorbeeld  figuur  A. 2 Id) 
minder  goed  zichtbaar  dan  een  persoon  in  het  open  veld  (bijvoorbeeld  figuur  A. 230 
En  een  persoon  die  in  een  donkere  gang  staat  is  ook  slecht  zichtbaar  (figuur  A. 22). 

Verder  werden  er  opnamen  gemaakt  van  personen  in  camouflagekleding  en 
beschermende  NBC  kleding  (zie  figuur  A. 23).  De  camouflagekleding  reduceert  de 
visuele  opvallendheid,  terwijl  de  NBC  kleding  het  thermisch  profiel  ook  verandert. 

Ook  werden  er  opnamen  gemaakt  van  personen  die  door  rook  aan  het  zicht  werden 
onttrokken.  Hiervoor  werden  rookgranaten  ingezet  (zie  figuur  A.24). 

Het  beeldmateriaal  dat  op  deze  lokatie  werd  opgenomen  representeert  de  scenario's  la 
(doelopsporing  in  stedelijk  gebied)  en  IVa  (observatie  in  stedelijk  gebied).  Tevens  is  het 
beeldmateriaal  bruikbaar  voor  waarnemingsexperimenten  die  corresponderen  met  de 
scenario’s  Ila  (navigatie  in  stedelijk  gebied)  en  Ilia  (orientatie  in  stedelijk  gebied). 
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Beeldmateriaal 


Figuur  A. 25  Digitale  HV  beelden  (linker  kolom)  en  Lion  Advance  warmtebeelden  (rcchts)  van  scenes  in  Oostdorp. 

(a,b):  man  in  deuropening.  (c,d)  man  naast  cn  vrouw  voor  Dixi.  (e,F)*  soldaat  knielend  en  wapen 
richtend  achter  rookwolk.  (g,h). 
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(i)  (j) 

Figuur  A. 25  (vervolg)  Digitale  HV  beelden  (linker  kolom)  en  Lion  Advance  warmtebeclden  (rechts)  van  scenes 
in  Oostdorp:  (ij):  vrouw  in  loopgraaf 


Figuur  A, 26  Digitate  HV  beelden  (linker  kolom)  en  Lion  Advance  warmtebeelden  (rechts)  van  een  persoon  in 
respecticvelijk  de  kleding  uit  figuur  A. 23. 
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Figuur  A. 27  linker  kok>m:  false  colour  RG  (rood-groen)  representatie  van  de  beelden  uit  respectievelijk  tiguur  A. 25a  en  b. 
Middelste  kolom.  de  kleurentabellen  waarmee  het  false  colour  RG  beeld  wordt  omgezet  in  het 
corresponderende  kleurenbeeld  in  de  rechterkolom. 
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1  iguur  A. 28  Linker  kolom:  false  colour  RG  (rood-groen)  representalie  van  de  beelden  uit  respectievelijk  tlguur  A  25e  en 
d.  Middelste  kolom  de  kleurentabellen  waarmee  het  false  colour  RG  beeld  wordt  oragczet  in  hel 
corresponderende  kleurenbeeld  in  de  rechterkolom 
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Figuur  A. 29  Linker  kolom:  false  colour  RG  (rood-groen)  representatie  van  de  beelden  uit  respective lijk  figuur  A.25e  en 
f.  Middelste  kolom  de  kleurentabellen  waarmee  het  false  colour  RG  beeld  wordt  omgezet  in  het 
corresponderende  kleurenbeeld  in  de  rcchterkolom. 
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Figuur  A. 30  Linker  kolom  false  colour  RG  (rood-groen)  representalie  van  de  beelden  uit  respectievelijk  tiguur  A.25g  en  h 
Middelste  kolom:  de  kleurentabellen  waarmee  het  false  colour  RG  beeld  wordt  omgezet  in  hei 
corresponderende  kleurenbeeld  in  de  rechterkolom. 
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Figuur  A. 3 1 .  Nachtzichtopnamen  van  de  scene  uit  figuur  A.23d:  vrouw  in  loopgraaf.  l  inker  kolom:  false  colour  RG 
(rood-groen)  representatie  van  de  beelden  uit  respectievelijk  figuur  A.25i  en  j.  Middelste  kolom: 
de  kleurentabellen  waarmee  het  false  colour  RG  beeld  wordt  omgezet  in  het  corresponderende  kleurenbeeld 
in  de  rechterkolom. 
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Figuur  A. 32  I jnker  kotom:  false  eotour  RG  (rood-groen)  representalie  van  de  beelden  uit  respecticvelijk  figuur  A. 26a  en  b. 
Middelste  kolom  de  kleurentabellen  waarmee  het  false  colour  RG  beeld  wordt  omgezet  in  het 
corresponderende  kleurenbeeld  in  de  rechterkolom. 
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Figuur  A.33  Linker  kolom:  false  colour  RG  (rood-groen)  representatie  van  de  beelden  uit  respectievelijk  figuur  A.26c  en  d. 
Middelste  kolom:  de  kleurentabellen  waarmee  het  false  colour  RG  beeld  wordt  omgezet  in  het 
corresponderende  kleurenbeeld  in  de  rechterkolom. 
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Figuur  A. 34  Linker  kolom:  false  colour  RG  (rood-groen)  representatie  van  de  beelden  uit  respectievelijk  figuur  A.26e  en 
f.  Middelste  kolom.  de  kleurentabellen  waarmee  het  false  colour  RG  beeld  wordt  omgezet  in  hot 
corresponderende  kleurenbeeld  in  de  rechterkolom. 
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A.2.3  Vlasakkers 

Bij  dit  experiment  werd  er  ook  een  additionele  Amber  3-5  |xm  thermische  camera  aan 
het  basis  ATHENA  systeem  toegevoegd. 

Terreinbeschrijving 

Het  militaire  oefenterrein  de  Vlasakkers  bevindt  zich  achter  de  Bernhardkazerne  te 
Amersfoort  Het  terrein  heeft  een  zeer  gevarieerde  structuur  en  begroeiing.  Zo  zijn  er 
viakke  en  heuvelachtige  delen,  en  zijn  er  heide,  bos  en  zandvlakten.  Er  lopen  lange 
soms  rechte  geasfalteerde  wegen  over  het  terrein.  Ook  zijn  er  verscheidene  onverharde 
wegen  en  zandpaden,  die  alleen  met  jeeps  of  rupsvoertuigen  toegankelijk  zijn. 


Figuur  A. 35  Luchtopname  van  militair  oefenterrein  de  Vlasakkers  te  Amersfoort. 


Figuur  A. 36  Plattegrond  van  militair  oefenterrein  de  Vlasakkers  te  Amersfoort.  De  zwarte  pijl  geeft  de 
lokatie  aan  van  het  uitzichtplateau. 
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Scenario 's 

Er  werden  bij  dag  en  bij  duisternis  opnamen  gemaakt  van  personen  in  camouflage 
kleding  die  verschillende  objecten  in  hun  hand  droegen,  De  personen  stonden  opgesteld 
in  een  veld  met  lage  begroeiing  en  een  bosrand  op  de  achtergrond.  De  opname 
afstanden  bedroegen  120  m  en  85  m.  Er  stonden  telkens  twee  personen  in  beeld,  ofwel 
elk  met  een  verschillend  object,  ofwel  een  met  een  object  en  de  ander  zonder  object 
De  personen  stonden  altijd  rechtop  in  dezelfde  houding,  en  hielden  hun  handen  voor 
hun  lichaam  alsof  ze  een  wapen  droegen  (dus  ook  wanneer  er  geen  object  werd 
vastgehouden).  Er  werden  systematisch  verschillende  combinaties  van  objecten  en 
links/rechts  verwisselingen  opgenomen.  De  opnamen  werden  over  een  langere  periode 
van  de  dag  gemaakt,  bij  een  hele  reeks  verschillende  omgevings  luminanties. 

Hierdoor  varieert  het  ruisniveau  van  het  helderheidsbeeld.  Door  het  gebruikte  scenario 
en  de  gebruikte  condities  is  het  opgenomen  beeldmateriaal  (1)  bij  uitstek  bruikbaar  om 
de  invloed  van  ruis  op  het  ATHENA  fusie  proces  te  bestuderen,  en  (2)  goed  bruikbaar 
voor  detectie-  en  herkennings-  waarnemingsexperimenten  in  het  laboratorium. 

Daamaast  werden  ook  opnamen  gemaakt  van  personen  die  verschillende  typen 
thermische  camouflage  uitrusting  droegen  en  van  personen  die  zich  schuilhielden  achter 
verschillende  typen  camouflagenetten. 
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(8) 

Figuur  A. 37  De  objecten  die  de  personen  in  beeld  in  hun  hand  droegen:  (a)  C7,  (b)  C8,  (c)  MAG  ,  (d)  hijl, 
(e)  houten  hamer,  (0  puntig  paaltje,  (g)  plastic  pijp. 
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Beeldmateriaal 

Er  werd  onder  verschillende  lichtomstandigheden  een  grote  hoeveelheid  dynamisch 
beeldmateriaal  opgenomen  van  de  eerder  beschreven  statische  scenes.  Dit  materiaal  is 
geschikt  voor  de  ontwikkeling  en  evaluatie  van  dynamische  beeldfusie  en 
beeldverbeteringsalgoritmen.  Omdat  vooral  in  het  digitale  HV  beeld  de  ruis  toeneemt 
met  afnemende  omgevingsluminantie  is  dit  materiaal  ook  bijzonder  geschikt  voor  de 
ontwikkeling  en  evaluatie  van  dynamische  ruisonderdrukkings  algoritmen. 


Figuur  A. 39  (ax)  HV  en  (b,d)  Lion  Advance  WB  opnamen  van  een  persoon  achter  twee  verschillende  typen 
camouflage  netten. 
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Figuur  A. 40  (a)  HV  en  (b)  Lion  Advance  WB  opnamen  van  twee  personen  die  elk  een  verschillend  object 
dragen. 


A.  2.4  Zaragoza 

Van  1 1  tot  15  September  2006  werden  er  ongeveer  10  km  ten  noorden  van  Zaragoza  op 
het  militaire  oefenterrein  ‘San  Gregorio  (SG)’  in  internationaal  verband  verschillende 
mobiele  camouflagekits  voor  de  Fennek  getest  in  een  hete  en  (aanvankelijk)  droge 
omgeving.  Helaas  werd  het  experiment  al  snel  na  aanvang  afgelast  omdat  hevige 
regenval  het  terrein  onbegaanbaar  maakte  (er  ontstonden  grote  modderstromen). 

Toch  zijn  we  er  in  geslaagd  nog  enkele  bruikbare  opnamen  te  maken.  Bij  dit  experiment 
werd  er  ook  een  additionele  Amber  3-5  pm  thermische  camera  aan  het  basis  ATHENA 
systeem  toegevoegd, 

Terreinheschrijving 

Het  terrein  bestaat  uit  een  woestijnachtige  vlakte  omringd  door  enkele  heuvels. 

De  begroeiing  is  laag  en  bestaat  uit  polletjes  gras  en  stekelplantjes. 

Scenario ’s 

Het  ATHENA  systeem  werd  ondergebracht  in  een  tent,  van  waaruit  de  camera’s  vrij 
zicht  hadden  op  de  testlokatie.  Er  werden  opnames  gemaakt  van  een  Fennek  in  desert 
painting,  een  Fennek  voorzien  van  een  Duitse  mobiel  camouflage  systeem  (MCS),  en 
een  Fennek  met  een  MCS  van  Barracuda  (Zweden).  De  opnamen  werden  gemaakt  van 
verschillende  aanzichten  (voor-  en  zij  aanzichten)  van  de  voertuigen. 

Verder  werden  er  nog  enkele  opnamen  gemaakt  van  een  persoon  in  standaard 
(Nederlandse)  gevechtskleding  tegen  een  heuvelachtig  deel  van  de  achtergrond. 
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Figuur  A. 41  (a)  Dc  tent  waarin  het  ATHENA  systeem  (b)  was  ondergebracht 


(c) 

Figuur  A. 42  Fenneks  met  (a)  desert  painting,  (b)  German  mobiele  camouflage  systeem  (MCS).  en  (e-d) 
het  Barracuda  MCS. 
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l'iguur  A. 43  Persoon  in  standaard  gevechtskleding  tegen  heuvelachtige  achtergrond. 


Desert 

paint 


Beeldmateriaal 

HV  WB 


Figuur  A.44  Digitale  HV  (linker  kolom)  en  Lion  Advance  wamntebeeld  (rechter  kolom)  zijaanzicht  opnamenevan  een 
Fennek  in  een  dessert  paint  uitvoering  (bovenste  rij),  met  een  Duits  MCS  (middelste  rij),  en  met  een 
Barracuda  MCS  (onderste  rij). 
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I'iguur  A.45  Als  figuur  A. 44,  in  vooraanzkht. 
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Figuur  A. 46  Opnamen  met  de  digitale  HV  camera  (linker  kolom)  en  met  de  Lion  Advance  warmtebeeld  camera 
(rechter  kolom)  van  een  persoon  in  standaard  NL  gevechtskleding  op  3  verschillende  locaties  in  het 
terrein. 
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Figuur  A.47  Zijaanzicht  van  Fennek  in  desert  paint  /under  camouflage. 
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Figuur  A. 48  Vooraan/icht  van  Fennek  in  desert  paint  zonder  camouflage. 
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Figuur  A. 49  Zijaanzicht  van  een  Fennck  met  Duits  MCS. 
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Figuur  A. 50  Vooraanzicht  van  een  Fennek  met  Duits  MCS. 
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Figuur  A. 51  Zijaanzicht  van  een  Fennek  met  Barracuda  MCS. 
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Figuur  A. 52  Vooraanzicht  van  een  Fennck  met  Barracuda  MCS. 
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Figuur  A. 53  Perstxm  in  standaard  NL  gevechtskleding  op  3  verschillende  locaties  in  hot  terrain. 
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Figuur  A. 54  Als  figuur  A. 53. 
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liguur  A. 55  AIs  figuur  A. 53. 
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A.3  Geschiktheid  voor  waarnemingsexperimenten 

Het  beeldmateriaal  dat  is  opgenomen  op  de  locatie  Waalsdorpervlakte  is  bruikbaar  voor 
verschillende  landelijke  scenario’s,  vanwege  de  variatie  in  het  terrein  (verschillende 
begroeiing,  water)  en  de  aanwezigheid  van  wegen  en  paadjes. 

Het  beeldmateriaal  dat  is  opgenomen  op  de  locatie  Vlasakkers  is  bruikbaar  voor  het 
scenario  landelijke  doelopsporing,  vanwege  de  dichte  schaduwrijke  bosranden,  en  de 
grote  uitgestrektheid  van  het  terrein. 

Het  beeldmateriaal  dat  is  opgenomen  op  de  locatie  Oostdorp  is  bruikbaar  voor  alle 
stedelijke  scenario’s,  omdat  hier  ver  zicht  mogelijk  was,  veel  begroeiing  aanwezig  is, 
het  een  gevarieerd  stadsbeeld  heeft,  en  er  rook  en  wapens  in  voorkomen. 


Tabel  A.  1  Overzicht  van  de  geschiktheid  van  het  opgenomen  beeldmateriaal  voor  waarnemingsexperimenten  op  basis 
van  de  verschillende  ontwikkelde  scenario’s,  op  grond  waarvan  de  meerwaaide  van  het  Athena  systeem 
mogelijk  kan  worden  bepaald.  De  geel  gekleurde  vakjes  geven  de  locaties  aan  waar  opnamen  wcrden 
gcmaakt  die  het  meest  geschikt  zijn  voor  het  betreffende  scenario. 
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